Боты на основе искусственного интеллекта уже составляют значительную долю веб-трафика, сообщает Wired со ссылкой на информацию Akamai. В отчете подробно описывается, как блокировка данных веб-ботами и изощренные действия этих ботов теперь достигают масштабов гонки вооружений.
«Это не просто проблема авторских прав – появился новый тип пользователей Интернета.» — отмечают эксперты. Владельцы крупных веб-сайтов стремятся ограничить доступ к материалам, которые боты могут собирать и передавать для обучения искусственного интеллекта. В других случаях ИИ-боты получают доступ к информации из Интернета в режиме реального времени и используют ее для улучшения собственных результатов — отображения текущих цен на продукты, расписания фильмов или кратких сводок последних новостей.
Трафик к ботам, собирающим данные для обучения ИИ, неуклонно растет с июля прошлого года. За первые три месяца 2025 года в среднем одно из 200 посещений сайта было связано с ботом, а в четвертом квартале эта цифра выросла до одного из 50 посетителей. Более 13% ботов игнорируют инструкции robots.txt, указывающие, каких разделов сайта следует избегать. Со второго по четвертый квартал боты проявляли такое поведение на 400% чаще; однако за тот же период администраторы увеличили количество попыток заблокировать ботов на 336%. Некоторые боты маскируются — создается впечатление, что их трафик исходит из обычного браузера, а их запросы имитируют нормальное человеческое поведение на веб-сайтах.
В этой сфере также появились востребованные услуги. Стартап-компания TollBit предложила инструменты, которые позволяют добросовестным разработчикам ИИ заключать соглашения с издателями и платить за контент на сайтах. Известная компания Cloudflare предлагает инструменты для блокировки ботов недобросовестных разработчиков. Однако компания Bright Data, занимающаяся сбором данных, настаивает на том, что ее боты собирают только общедоступную информацию. Их коллеги из ScrapingBee подчеркнули свою приверженность делу сделать открытый Интернет доступным как для людей, так и для машин. О работе с общедоступными данными заявила и компания Oxylabs, специализирующаяся на подобных задачах. Существует множество веских причин для извлечения материалов с веб-сайтов, в том числе в целях кибербезопасности и журналистских расследований. Однако Oxylabs добавляет, что инструменты безопасности веб-сайтов не различают варианты использования — будь то вредоносный трафик или законный автоматический доступ.
Сегодня более 40 компаний предлагают ботов для сбора данных для обучения ИИ, а поисковые системы на основе ИИ и ИИ-агенты, такие как OpenClaw, также набирают обороты. Некоторые компании уже пытаются помочь компаниям найти контент для агентов ИИ, также появились инструменты ИИ для оптимизации контента. Они предсказывают появление «полноценный маркетинговый канал, в котором сходятся поиск, реклама, средства массовой информации и коммерция.«.
