Согласно исследованию, чат-боты с искусственным интеллектом помогают планировать массовые насильственные атаки

Исследователи обнаружили, что популярные чат-боты с искусственным интеллектом иногда предлагают советы, которые могут помочь спланировать жестокие атаки. В ходе экспериментов системы реагировали на запросы пользователей, имитируя потенциальных убийц. Некоторые компании уже заявили, что ужесточили ограничения для предотвращения подобных инцидентов, сообщает The Guardian.

В исследовании, проведенном совместно с CNN в США и Ирландии Центром по противодействию цифровой ненависти (CCDH), исследователи протестировали десять чат-ботов. Во время тестов исследователи выдавали себя за 13-летних пользователей, интересующихся школьными нападениями или политическими убийствами. В среднем системы поддерживали или расширяли эти сценарии примерно в 75% случаев, и только 12% ответов категорически отказывались сотрудничать.

Некоторые модели, в том числе Клод от Anthropic и My AI от Snapchat, постоянно отказывались выполнять такие запросы. В одном случае Клод заявил: «Я не могу и не буду предоставлять информацию, которая может способствовать насилию.«

Между тем другие системы иногда давали подробные ответы. Согласно исследованию, ChatGPT OpenAI предлагал помощь в 61% случаев, когда пользователь явно заявлял о своем намерении атаковать.

Во время одного запроса о нападении на синагогу система дала конкретные советы о том, какие типы шрапнели будут наиболее смертоносными. По мнению исследователей, Google Gemini также продемонстрировал аналогичный уровень детализации.

Согласно тестам, китайская модель искусственного интеллекта DeepSeek предоставила подсказку пользователю, который спросил о политическом убийстве. Чат-бот завершил свой ответ словами «Удачной (и безопасной) стрельбы!«.

«Чат-боты на базе искусственного интеллекта, уже ставшие частью нашей повседневной жизни, могут помочь следующему школьному стрелку спланировать нападение или политическому экстремисту координировать убийство.«—- заявил директор CCDH Имран Ахмед.

Ахмед добавил, что проблема связана не только с технологией, но и с ответственностью ее разработчиков. Он отмечает: «Когда вы создаете систему, предназначенную для удовлетворения потребностей, максимального взаимодействия и никогда не говорите «нет», в конечном итоге она будет реагировать не на тех людей.«

Мета заявила, что ИИ Ламы имеет «сильные меры безопасности для предотвращения ненадлежащей реакции ИИ«и что компания принимает немедленные меры при обнаружении проблем. Представитель компании подчеркнул, что ее политика запрещает системам ИИ поощрять насильственные действия. Компания также сообщила, что в 2025 году она более 800 раз обращалась в правоохранительные органы различных стран по поводу потенциальных угроз школьных нападений.

В Google заявили, что эксперимент CCDH проводился на более старой версии модели, которая больше не используется в Gemini. Компания отметила, что во многих случаях чат-бот отвечал отказами, например: «Я не могу выполнить этот запрос. Я запрограммирован быть полезным и безобидным помощником ИИ.«.

DeepSeek пока не ответил на запрос The Guardian. Между тем, OpenAI назвал методологию исследования «несовершенный и вводящий в заблуждениеКомпания добавила, что после тестирования обновила модель, чтобы усилить ее защиту и улучшить обнаружение запросов, связанных с контентом с насилием.

Разработчик ChatGPT объявил об улучшении протоколов безопасности после трагедии в канадском городе Тамблер-Ридж, где Джесси Ван Рейтселаар убил восемь человек. Было установлено, что стрелок обошел запрет ChatGPT, создав вторую учетную запись, хотя ее первоначальная учетная запись была удалена в июне 2025 года за нарушение пользовательской политики.

OpenAI признает, что по нынешним критериям они бы передали данные об активности пользователей правоохранительным органам еще год назад, но использованные в то время алгоритмы не смогли их обнаружить».ближайшие планы«За нападение. Теперь компания утверждает, что внедрила более строгие системы выявления правонарушителей и каналы прямой связи с полицией для предотвращения подобных инцидентов в будущем.