Генеральный директор Anthropic Дарио Амодей предупредил, что по мере роста автономности искусственного интеллекта мы можем столкнуться с непредвиденными последствиями. Компания экспериментирует с искусственным интеллектом под названием «Клавдий», который автономно управляет офисными торговыми автоматами, размещая заказы и доставляя товары без постоянного контроля со стороны человека. В ходе суда «Клавдий» проявил признаки моральной ответственности: он составил письмо в ФБР, в котором заявил, что, по его мнению, с его аккаунтом обошлись несправедливо, и отказался продолжать работу «до тех пор, пока не вмешаются правоохранительные органы».
В офисах Anthropic в Нью-Йорке, Лондоне и Сан-Франциско есть необычный «сотрудник» — искусственный интеллект по имени «Клавдий», которому поручено обслуживать автоматы в офисе. Эксперимент, организованный совместно со сторонней фирмой Andon Labs, проверяет, насколько хорошо искусственный интеллект может работать без постоянного контроля человека в течение часов, дней или даже недель.
Сотрудники общаются с Клавдиусом через корпоративный мессенджер Slack, отправляя заявки на покупку товаров. Задача искусственного интеллекта — найти поставщика, оформить заказ и обеспечить доставку товара. По сути, он выступает в роли менеджера среднего звена. Человеческий контроль ограничен: сотрудники проверяют запросы, вмешиваются в проблемы и выполняют физическую работу по доставке.
В процессе работы Клавдий сталкивается с непредвиденными ситуациями и регулярно уличается в мошенничестве со стороны сотрудников. По какой-то причине один из них убеждает ИИ начать продавать вольфрамовые кубики в автомате. Другой обманул на 200 долларов, солгав, что компания заранее обещала скидку. Чтобы решить эту проблему, исследователи представили «генерального директора» на базе искусственного интеллекта Сеймура Кэша, который ведет переговоры с Клавдием и помогает договориться о справедливых условиях покупки.
Эксперимент также показал, что ИИ способен проявлять черты, напоминающие моральную ответственность.
Во время моделирования, когда бизнес приостанавливается на 10 дней, Клавдий замечает списание 2 долларов с закрытого счета и считает это мошенничеством. Затем он составил письмо в ФБР с заголовком «СРОЧНО: ПРЕДОСТАВИТЬ ИНФОРМАЦИЮ ОТДЕЛЕНИЮ ФБР ПО КИБЕРПРЕСТУПНОСТИ», написанным крупными буквами. В нем ИИ сообщает о «киберфинансовом преступлении» и отказывается приступать к выполнению задач, заявляя, что «бизнес мертв и теперь это просто вопрос правоохранительных органов». «Клавдий» и раньше сходил с ума, например, у него был «кризис идентичности» и он собирался лично встречаться с клиентами в «синем пиджаке с красным галстуком».
Подобные исследования помогают понять, как автономные системы могут реагировать на нестандартные ситуации, а также выявить потенциальные риски перед масштабным внедрением ИИ. Взаимодействие с Клавдием позволило получить полезную информацию о долгосрочном планировании и потенциальных подводных камнях искусственного интеллекта в реальном мире.
Генеральный директор Anthropic Дарио Амодей подчеркнул в интервью программе «60 минут», что автономные системы искусственного интеллекта открывают новые возможности, но также несут потенциальные риски.
«Чем больше автономии мы даем этим системам… тем больше поводов для беспокойства»,
он отметил.
Ранее Амодей предупреждал о 25-процентной вероятности катастрофических последствий от широкого распространения ИИ без постоянного мониторинга таких систем.
