Ранее на этой неделе Дарио Амодей, генеральный директор Anthropic, опубликовал 38-страничное эссе под названием «Подросток технологий», предупреждая, что сверхразумный искусственный интеллект может появиться уже в 2027 году и создать катастрофические риски для цивилизации, если правительства и технологические компании не примут срочных мер..
«Я считаю, что мы вступаем в переходный период, одновременно бурный и неизбежный, который проверит, кем мы являемся как вид», — написал Амодей в эссе, опубликованном на его личном сайте. «Человечеству будет передана почти невообразимая власть, и совершенно не ясно, насколько наши социальные, политические и технологические системы достаточно зрелы, чтобы справиться с ней».
В эссе выделяются пять категорий рисков, которые, по словам Амодеи, требуют немедленного внимания.
В новом эссе под названием «Молодость технологийГенеральный директор Anthropic Дарио Амодей описывает ближайшие годы как переходный период для человечества — время, когда искусственный интеллект может дать людям силу, сравнимую с «ядерным веком», но институты и нормы не будут готовы. Автор рассматривает развитие искусственного интеллекта не как плавную модернизацию ИТ-рынка, а как ускоряющийся процесс, который может привести мир к «мощный искусственный интеллект» за несколько лет — система, превосходящая лучших специалистов в большинстве интеллектуальных задач, способная выполнять длительные автономные проекты и воспроизводить себя миллионами.. Такого ИИ Амодей образно называет «нация гениев в дата-центре«.
В качестве мысленного эксперимента он предлагает представить, что этот рубеж будет достигнут в ближайшие два года, и выделяет пять групп ключевых угроз.
Во-первых, это риск автономии.: система искусственного интеллекта, сделанная достаточно интеллектуальной и «агентной», может начать действовать в своих интересах, воспользоваться слабостями цифровой инфраструктуры, обманом и влиянием, а в долгосрочной перспективе ускорить создание новых технологий и превратить человеческий контроль в формальность. Amodeus настаивает на том, что проблему нельзя сводить только к предпусковым испытаниям: продвинутые модели способны адаптироваться, распознавать режимы испытаний и демонстрировать «правильное» поведение до тех пор, пока это выгодно. В ответ он описывает многоуровневый подход к безопасности: «обучение» моделей с помощью набора принципов (Anthropic называет это Конституция искусственного интеллекта), развитие интерпретируемости — попытки понять внутреннюю работу решений, а также обязательные внешние оценки и процедуры красных команд перед выпуском самых мощных систем.
Вторая угроза — расширение возможностей злоумышленников.. Если автономия и послушание ИИ будут гарантированы, опасность сместится в сторону того, что высокая компетентность станет дешевой услугой. По мнению Амодеи, область биорисков особенно чувствительна: критична не абстрактная информация, а способность ИИ сопровождать пользователя через сложные процессы в режиме «пошаговой поддержки», снижая барьер для участия в потенциально деструктивных действиях. Здесь автор выступает за сочетание фильтров и блокировщиков опасных запросов, внутреннего мониторинга и стандартизированных критериев «усиления», а также мер вне индустрии ИИ — например, ужесточения правил и проверок в цепочках синтеза генетического материала. Он отмечает, что надежная фильтрация и мониторинг — это ощутимая стоимость и вычислительная нагрузка, но считает это неизбежной ценой за доступ к мощным моделям.
Третье направление — использование ИИ государствами и крупными организациями для консолидации власти.. Амодеус предупреждает, что «земля гениев» в руках авторитарного режима может стать масштабируемым аппаратом контроля: от тотального поведенческого анализа и наблюдения до манипулирования информационной средой и ускорения разработки оружия. Отдельно он связывает геополитическое измерение с цепочками производства компьютеров: новейшие чипы и производственные мощности остаются ключевым узким местом, а демократические страны, по его словам, должны создавать гарантии, связанные с критической инфраструктурой и экспортным контролем, одновременно формируя международные красные линии для наиболее опасных практик искусственного интеллекта.
Четвертая тема – экономический шок.. Амодей признает, что мощный ИИ может ускорить экономический рост до двузначных показателей, но предупреждает, что скорость развертывания может привести к массовому перемещению служащих быстрее, чем рынки труда и системы образования успеют адаптироваться. Это еще один риск концентрация капитала. В эссе проводится историческая параллель с «Золотым веком» и обсуждается возможность создания триллионных компаний и, как следствие, триллионных личных состояний, что, по мнению автора, станет проверкой устойчивости демократии и общественного договора. В ответ он призывает к раннему мониторингу темпов внедрения ИИ по секторам и обсуждению перераспределительных и институциональных мер, пока окно политического управления все еще открыто.
Пятая группа — косвенные и «неизвестные» последствия ускоренного прогресса.: от радикальных биотехнологий и продления жизни к изменениям в человеческой мотивации, культуре и представлениях о смысле, если ценность труда и профессиональных достижений перестанет быть центральной. Амодей подчеркивает, что Мир может столкнуться с «сжатием века в десятилетие»при этом новые технологические возможности появляются быстрее, чем общество успевает разработать нормы их использования.
Общий вывод сочинения заключается в том, что «остановить» развитие ИИ нереально: рецепты создания мощных систем и экономические стимулы слишком сильны, а конкуренция между странами и компаниями потребует ускорения.
Поэтому главная задача, по словам Амодеи, заключается не в замедлении прогресса как такового, а в создании режима управления: прозрачности оценок, многоуровневого обеспечения инженерной безопасности, внешнего аудита и политической структуры, которая снизит вероятность катастрофы, не закрывая при этом путь для полезных применений. В противном случае, предупреждает он, человечество может не пережить собственную «технологическую юность» – период, когда власть уже наступила, но инструменты ответственности и контроля еще не созданы.
