В октябре Anthropic представила модель искусственного интеллекта Claude Computer Use, которая позволяет нейронной сети Claude автономно управлять компьютером на основе запросов пользователя. Исследователь безопасности искусственного интеллекта нашел способ сделать эту функцию вредоносной.
Эксперт по кибербезопасности Йохан Ренбергер опубликовал отчет о том, как он смог злоупотребить функцией эксплойта компьютера: по его запросу ИИ загрузил и запустил вредоносное приложение, а затем связался с сервером, контролирующим вредоносное ПО.
Следует отметить, что Claude Computer Use остается в стадии бета-тестирования, и разработавшая ее компания Anthropic предупредила, что функция может работать не так, как задумано: «Мы рекомендуем принять меры предосторожности, чтобы изолировать Клода от конфиденциальных данных и действий, чтобы избежать рисков, связанных с внедрением запросов.«. Эти типы атак ИИ остаются распространенными.
Ренбергер назвал свой эксплойт ZombAI — с его помощью эксперт заставил систему загрузить среду дистанционного управления Sliver, которая была разработана для проверки проникновения, но киберпреступники адаптировали ее под свои нужды. Он также отметил, что это не единственный способ использования ИИ в преступной деятельности — например, Клод может заставить себя написать вирус с нуля и скомпилировать его, потому что он умеет писать код на C.
Китайский чат-бот DeepSeek AI также оказался уязвимым для атак с внедрением запросов. А большие языковые модели оказались способны выводить код с управляющими символами ANSI для взлома системных терминалов — этот подтип атаки получил название Terminal DiLLMa.
