В прошлом году Google внедрил в свою поисковую систему сводную функцию на базе искусственного интеллекта — не очень успешный эксперимент продемонстрировал, насколько результаты службы отличаются от традиционных результатов поиска на основе ссылок, которые поисковые системы отображали десятилетиями. Исследователи обнаружили, что поисковые системы на основе искусственного интеллекта, как правило, ссылаются на менее популярные сайты и ресурсы, которые в противном случае не попали бы в топ-100 результатов органического поиска Google.
Немецкие исследователи сравнили традиционные результаты поиска Google с функцией AI Reviews и ответами чат-бота Gemini-2.5-Flash. В качестве дополнительных источников они использовали поисковую систему GPT-4o компании OpenAI и дополнительный режим модели GPT-4o, который использует веб-поиск только при необходимости, если модель не находит ответа в собственной базе знаний. Исследователи собрали набор тестовых запросов из трёх источников: WildChat — запросы, отправленные пользователями в ChatGPT; AllSides – запросы на политические темы; и запросы, связанные со 100 самыми популярными товарами на Amazon.
В целом, согласно статистике рейтинга Tranco, генеративные поисковые системы на базе искусственного интеллекта с большей вероятностью цитируют ресурсы, которые обычно не входят в топ-10 традиционных результатов поиска. Источники, цитируемые AI, с меньшей вероятностью, чем традиционные результаты поиска Google, попадают в первую тысячу или даже первый миллион ресурсов рейтинга Tranco. Собственные предпочтения Gemini включают множество непопулярных сайтов: во всех результатах средний источник чат-ботов не входит в топ-1000 Tranco. Источники, цитируемые поисковыми системами AI, обычно не появляются где-то в верхней части результатов поиска Google: 53% источников Google «обзоров AI» не входят в топ-100, а 40% не входят в топ-100 традиционных результатов.
Разница в качестве источников существенная: системы ИИ чаще обращаются к корпоративным ресурсам и энциклопедиям, но почти никогда не используют социальные сети. Анализ ответов с использованием большой языковой модели показал, что ИИ охватывает такое же количество узнаваемых понятий, что и десять наиболее распространенных ресурсов в традиционных результатах поиска — результаты были такими же подробными, разнообразными и релевантными. С другой стороны, искусственный интеллект имеет свойство сжимать информацию, т.е. упускать второстепенные и неоднозначные аспекты, которые сохраняются при традиционном поиске.
Ключевым преимуществом поисковых систем с искусственным интеллектом является их способность комбинировать информацию из предварительно обученной базы знаний с данными с цитируемых веб-сайтов. Например, модель GPT-4o часто вообще не обращается к внешним источникам, полагаясь исключительно на собственные знания. Это также является его слабостью: иногда он запрашивает у пользователя подробную информацию вместо выполнения поиска в Интернете. Исследователи не сделали выводов о производительности поисковых систем ИИ, но призвали к новым методам оценки их эффективности с учетом разнообразия, диапазона концепций и способности моделей объединять собственные знания с данными из внешних источников.
