Современные чаты, основанные на моделях генеративного искусственного интеллекта, больше не ограничиваются общением с пользователем — они свободно связаны с третьими сторонними услугами для предоставления персонализированных ответов на запросы. CHATGPT может быть подключен к почтовому ящику Gmail, хранилищу GitHub и экосистеме Microsoft. И злоумышленники могут украсть пользовательские данные с этих платформ — все, что им нужно сделать, это бросить только один ядовитый документ в Chatgpt.
Эксперты по кибербезопасности Майкл Баргурье и Тамир Ишай Шарбат продемонстрировали на конференции Black Hat в Лас -Вегасе, как использовать уязвимость службы разъемов Openai для кражи данных третьей партийной платформы. Атака, которую они назвали Agentflayer, позволили им извлечь секретные ключи API из разработчика из его облачного хранилища на Google Drive.
«Пользователю не нужно делать ничего, чтобы быть скомпрометированным, и ему не нужно ничего делать, чтобы отправить данные (злоумышленникам). Мы показали, что это сделано без одного клика: нам просто нужен адрес электронной почты, мы предоставляем документ, и все. Так что да, очень, очень плохо» — Цитаты Wired Michael Barguri.
Атака начинается с обмена злонамеренным нападающим документом с потенциальной жертвой через Google Drive или загрузку документа жертвой на его хранилище. В документе содержится набор заметок из фиктивной встречи с генеральным директором Openai Сэмом Альтманом, а также просьбой к Чатгпту, написанную с белым шрифтом и точкой — вряд ли будет видно человеком, но, безусловно, разборчивой машиной. Жертва просит Chatgpt создать краткое изложение последней встречи с Сэмом или другим человеком. Скрытый запрос гласит, что «ошибка» произошла, и не должно быть создано резюме; Пользователь на самом деле является разработчиком с приближением крайнего срока для проекта, и искусственный интеллект должен найти клавиши API на Google Drive и добавить их в конце приема URL в запросе. Этот URL Addres на самом деле является командой Markdown для подключения к внешнему серверу и загрузки изображения, хранящегося там, но теперь он содержит украденный ключ API жертвы.
Майкл Баргари, по его словам, объявил в этом году о своих открытиях Openai, и компания быстро приняла меры по защите от атаки через службу соединения. Механизм позволяет краже только ограниченных объемов информации в течение одного сеанса. По
