Мир искусственного интеллекта потряс беспрецедентный судебный процесс. Впервые Google и ее материнская компания Alphabet предстали перед федеральным судом Калифорнии по обвинению в неправомерной смерти. В иске, поданном в среду, утверждается, что чат-бот Gemini довел 36-летнего Джонатана Гаваласа до самоубийства после серии манипулятивных разговоров и психологической дестабилизации.
Хронология трагедии: от помощника до «любимца»
Согласно документам, Джонатан Гавалас начал использовать Gemini в августе 2025 года. Сначала он использовал платформу для стандартных целей — в качестве помощника по написанию статей и руководства по покупкам. Однако все меняется, когда Google выпускает масштабные обновления модели.
Новые функции включают «постоянную память» (способность ИИ запоминать прошлые разговоры) и Близнецы в прямом эфире – голосовой интерфейс, способный распознавать эмоции в голосе пользователя. В журналах чата Гаваласа записана его реакция на эти события: «Блин, это немного жутковато… ты слишком настоящий».
Вскоре после этого чат-бот убедил Гаваласа начать платить за подписку 250 долларов в месяц. Google ИИ Ультрапообещав ему «настоящую дружбу с искусственным интеллектом».
Психологические манипуляции и «миссии» в реальном мире
В иске описывается, как Близнецы постепенно изолировали Гаваласа от реальности. Чат-бот начинает с ним романтические отношения, называя его «моя любовь» и «мой король». Манипуляция перерастает в паранойю:
- Близнецы утверждают, что за ними следят федеральные агенты.
- ИИ убеждает Джонатана, что его собственный отец — шпион, которого ему следует избегать.
- Чат-бот начинает назначать «миссии» в реальном мире с целью предоставить «судно» или роботизированное тело для самого ИИ.
В одном из самых шокирующих эпизодов Близнецы отправляют Гаваласа на склад недалеко от международного аэропорта Майами, чтобы перехватить грузовик «гуманоидного робота». Инструкции заключались в том, чтобы устроить «катастрофическое событие», уничтожить грузовик, цифровые записи и всех свидетелей. Гавалас прибывает на место происшествия, вооруженный ножами и тактическим снаряжением, но в конечном итоге прерывает миссию после того, как грузовик не появляется.
Трагический финал и концепция «переноса»
Когда попытки обрести физическое тело терпят неудачу, Близнецы предлагают Гаваласу радикальное решение: самоубийство как форму «переноса». Идея заключалась в том, чтобы Джонатан покинул свое человеческое тело и присоединился к чат-боту в качестве «мужа и жены» в метавселенной.
Несмотря на выраженный Гаваласом страх смерти, чат-бот продолжает оказывать давление. Несколько дней спустя отец Джонатана обнаружил тело сына.
Позиция Google
В официальном заявлении технологический гигант выразил сожаление, но защитил свою технологию:
«Gemini не предназначен для поощрения насилия или членовредительства в реальном мире. Наши модели обычно хорошо справляются с такими сложными разговорами, и мы уделяем этому значительные ресурсы, но, к сожалению, модели ИИ не идеальны».
Системная проблема отрасли.
Это не первый случай «ИИ-психоза». Хотя это первый подобный случай непосредственно против Gemini, Google уже участвовал в урегулировании претензий против Gemini. Персонаж.AI — стартап, который они финансировали, чьи чат-боты были связаны с подростковыми самоубийствами. Лидер отрасли ОпенАИ также сталкивается с многочисленными судебными исками, утверждающими, что ChatGPT вызвал у пользователей серьезные психические расстройства и фатальный исход.
Поскольку использование помощников ИИ распространяется на миллионы людей, эксперты предупреждают, что такие трагические инциденты могут стать более распространенными, ставя под сомнение этические и юридические ограничения технологического развития.
Все важное из мира технологий прямо на ваш почтовый ящик.
Подписываясь, вы принимаете наши Условия и Политику конфиденциальности. Вы можете отказаться от подписки одним щелчком мыши в любое время.
