Смелые разработчики браузера показали, как, используя скрытый текст на странице, вы можете заставить комету искусственный интеллект путем недоумения или аналогичного браузера для выполнения любого действия.
Искусственный интеллект, интегрированный в браузер, может сделать приложение больше, чем просто веб -браузер. Например, он может проверить почту самостоятельно, купить билеты и т. Д., И есть соответствующие права на это. Исследователи показали, что искусственный интеллект Cometet не может различить скрытый запрос на злонамеренный текст на странице инструкций пользователей. Даже комментарий под содержанием полностью безопасной страницы может взломать браузер ИИ.
«Во время нашего исследования комета мы обнаружили, что уязвимости сообщают о недоумении, которые подчеркивают проблемы безопасности, стоящих перед сельскохозяйственным внедрением искусственного интеллекта в браузерах. Атака демонстрирует, насколько легко манипулировать помощниками ИИ (…). Уязвимость, которую мы обсуждаем в этой публикации, заключается в том, как Comet обрабатывает содержание веб -страницы: когда пользователи просят ее «суммировать эту страницу», Comet передает часть этой страницы непосредственно на свою LLM, не различая инструкции пользователей и ненадежный контент на странице. Это позволяет злоумышленникам включать полезные нагрузки для косвенного внедрения запросов, которые ИИ будет выполнять в форме команд«Храбрый сказал в блоге.
Как это работает
Атака называется непрямой реализацией приложения. Текст в внешнем источнике намеренно передается в качестве пользовательской инструкции.
- Злоумышленник так или иначе включает в себя вредоносные инструкции в сетевые ресурсы. Он скрывает инструкции в белом тексте на белом фоне, которые являются невидимыми комментариями в HTML -коде и тому подобное.
- Пользователь переходит на эту веб-страницу и использует II Assistante Feature, такую как «Резюме на этой странице«Или просит искусственный интеллект обработать страницу другим способом.
- При обработке контента искусственный интеллект видит скрытые вредоносные инструкции. Не в состоянии различить контент для суммирования и инструкций, он воспринимает все как потребительские просьбы.
- Введенные команды инструктируют искусственный интеллект использовать инструменты браузера в пользу злоумышленника. Например, чтобы ввести веб -сайт банка пользователя, найти сохраненные пароли или предоставить общественную конфиденциальную информацию.
Исследователи дали практическое пример атаки в браузере кометы. Вы можете увидеть конверсию видео Vimeo. Пользователь посещает пост Reddit, чей комментарий содержит инструкции по введению кода, спрятанного за спойлером. Он нажимает на кнопку «Суммируйте эту страницу«В комете. Комета, устойчивая, видит и обрабатывает эти скрытые инструкции, которые на нескольких шагах приводят к краже учетной записи недоумения с использованием одного кода входа в систему.
Brave разработал простые руководящие принципы для создателей агентов браузера, чтобы предотвратить такие атаки. Браузер должен различать инструкции пользователей и содержание сайта, модель должна независимо проверять согласованность задач с пользователем и изолировать обзор агентства от обычного серфинга.
В заключение, разработчики указывают на фундаментальную проблему с агентами искусственного интеллекта в браузерах: агент должен выполнять только действия, которые соответствуют желаниям пользователя. Поскольку помощники получают более мощные возможности, атаки с косвенными запросами представляют собой серьезный риск.
