Практика незаконного копирования успешных продуктов существует с момента появления первых инструментов и технологий, но чат-боты с искусственным интеллектом — это особый случай. Конкуренты не смогут их разобрать, но могут задать ИИ огромное количество вопросов, пытаясь понять, как именно он работает. Согласно новому отчету Google, именно так некоторые люди пытались клонировать чат-бота Gemini. В одном случае в чат-бот было отправлено более 100 000 таких запросов. Google называет это крупномасштабным экспериментом по разработке моделей искусственного интеллекта.
В последнем отчете группы Google Threat Intelligence Group описывается рост так называемых дистилляционные атаки – неоднократно запрашивать модель ИИ, чтобы узнать ее ответы, а затем использовать эти данные для обучения конкурирующей системы. Google утверждает, что эта деятельность нарушает ее условия обслуживания и представляет собой кражу интеллектуальной собственности, хотя злоумышленники используют законный доступ к API, а не взламывают системы компании напрямую.
Одна из дистилляционных атак, упомянутых в отчете, была специально направлена на анализ логики Близнецов.. Хотя Gemini обычно не раскрывает всю свою внутреннюю «цепочку рассуждений», Google утверждает, что злоумышленники пытались заставить его раскрыть детали своего логического мышления. Компания утверждает, что ее системы обнаружили эту активность в режиме реального времени и скорректировали защиту, чтобы предотвратить раскрытие подробностей внутренней работы чат-бота.
Хотя компания Google отказалась назвать имена подозреваемых, она заявила, что большинство попыток интеллектуального анализа данных исходило от частных компаний и исследователей, ищущих конкурентное преимущество. Джон Халтквист, главный аналитик Google Threat Intelligence Group, рассказал NBC News, что по мере того, как все больше компаний создают свои собственные системы искусственного интеллекта на основе конфиденциальных данных, попытки клонирования могут стать более распространенными в отрасли.
Google также описывает в отчете другие способы злоупотребления Gemini. Например, злоумышленники экспериментировали с фишинговыми кампаниями, используя искусственный интеллект и даже вредоносное ПО, которое обращается к API Gemini для генерации кода в режиме реального времени.. Компания добавляет, что во всех случаях связанные учетные записи были заблокированы, а меры безопасности были обновлены, чтобы ограничить дальнейшие злоупотребления.
Дистилляция сама по себе является законным методом оптимизации, при котором большая модель («учитель») обучает меньшую, более быструю модель («ученик»). Однако в атаке этот процесс используется для кражи интеллектуальной собственности:
- Массированное бурение: злоумышленник отправляет миллионы запросов, охватывающих широкий спектр тем и логических задач.
- Логит-анализ: Вместо того, чтобы смотреть только на конечный текст, атака фокусируется на так называемых «логбитах» (logbits) — числовых значениях, которые указывают на уверенность ИИ в каждом последующем сгенерированном токене.
- Реконструкция поведения: полученные данные используются для обучения новой модели, которая с удивительной точностью имитирует реакции и «стиль мышления» оригинала.
