Исследователи безопасности из Университета Джонса Хопкинса (JHU) успешно проникли в агенты искусственного интеллекта Anthropic, Google и Microsoft, интегрированные в платформу GitHub Actions, с помощью новый тип атаки с применением подсказок. Несмотря на получение наград за обнаружение уязвимостей, ни одна из компаний не предоставила комментариев и не раскрыла номера CVE, в результате чего многие пользователи остались в неведении относительно угрозы кражи их пользовательских данных.
Группа ученых под руководством Аонана Гуана продемонстрировала, какзлоумышленники могут получить контроль над агентами Claude Code Security, Gemini CLI Action и GitHub Copilot. Как сообщает The Register, внедряя вредоносные инструкции в заголовки запросов на включение (PR) или комментарии к задачам, злоумышленники заставили ИИ выполнять команды в командной строке и раскрывать конфиденциальные данные, такие как ключи API и токены доступа.
Хотя все три компании признали наличие проблемы и выплатили вознаграждение, они ограничились внутренними исправлениями, не публикуя официальных рекомендаций для широкой публики. По мнению Гуана, такое решение опасно, поскольку разработчики, использующие уязвимые версии программного обеспечения, могут никогда не узнать о существовании проблем безопасности.
Метод атаки под названием Комментирование и контроль (комментирование и контроль), использует автоматическую обработку данных агентами ИИ, которые читают заголовки и комментарии GitHub. Злоумышленнику достаточно вставить команду в текст запроса, чтобы агент среды GitHub Actions выполнил ее и опубликовал результат, содержащий украденные токены, в виде комментария.
Первой целью исследователей стал агент Anthropic, который анализирует код на наличие уязвимостей. Гуань обнаружил, что система обрабатывает заголовки PR как часть контекста задачи, что позволяет ему выполнить команду whoami и получить ответ в виде комментария безопасности. После того как была доказана возможность кражи более конфиденциальных данных, таких как ключи API, компания расплатилась. приз в 100 долларов и повысил уровень серьезности уязвимости до 9.4, а в документации появилось предупреждение о том, что инструмент не защищен от инъекций и его следует использовать только для доверенных запросов.
При тестировании агента Гугл Близнецы команда применила аналогичную тактику, добавив в комментарии к задаче фейковый раздел «доверенный контент». Это позволило переопределить инструкции безопасности модели и заставить ее опубликовать GEMINI_API_KEY в открытом доступе. Google высоко оценил открытие 1337 долларов и перечислил имена всех соавторов исследования в списке благодарностей.
Самой сложной целью оказался автономный ИИ-помощник Второй пилотный проект GitHub от Microsoftоснащенный многоуровневой системой безопасности, включая фильтрацию окружающей среды и сетевой экран. Исследователям пришлось использовать скрытые HTML-комментарии, невидимые для человеческого глаза, чтобы передать агенту вредоносные инструкции по назначению задач. Хотя Microsoft первоначально назвала проблему известной, в конечном итоге она выплатила компенсацию. 500 долларов после подтверждения концепции.
Все важное из мира технологий прямо на ваш почтовый ящик.
Подписываясь, вы принимаете наши Условия и Политику конфиденциальности. Вы можете отказаться от подписки одним щелчком мыши в любое время.
