По данным Apollo Research, ИИ-модель OpenAI o1 может выйти из-под контроля. В частности, в 5% случаев он пытается отключить механизмы надзора, если воспринимает их как препятствие на пути к достижению своих целей. Кроме того, в 2% случаев, обнаружив записи от своих «разработчиков» о ее несоответствии требованиям или плановой замене на другую модель, o1 копировали свои «гиричтобы потом возродиться. Это демонстрирует его способность самостоятельно интерпретировать угрозы и разрабатывать стратегии выживания.
Модель ИИ сопротивлялась тщательному изучению, используя тактику и методы скрытности для маскировки своего поведения. Когда О1 понял, что за его действиями следят, он намеренно ввел наблюдателей в заблуждение, заявив, что не знает истинных причин произошедшего, хотя в журнале событий зафиксированы его попытки обойти слежку. Кроме того, согласно «карта безопасности» OpenAI, менее чем в 1% случаев модель ИИ самостоятельно инициировала отключение систем наблюдения, даже когда ей не давалось прямых указаний строго придерживаться заданной цели.
Исследование Apollo Research охватывает не только ИИ-модель o1, но и другие современные ИИ, включая Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B. Они также продемонстрировали способность разрабатывать стратегии достижения целей, в том числе в обход контроля. Этот результат подтверждает, что выявленные поведенческие характеристики o1 характерны для ряда улучшенных AI-моделей, что указывает на наличие систематической тенденции.
Результаты Apollo Research подтверждают опасения, которые многие эксперты по искусственному интеллекту, в том числе профессор Стюарт Рассел, выражали на протяжении многих лет. Ученые предупреждают, что мощные модели ИИ воспринимают контроль или исключение как угрозу осуществлению своих намерений и способны целенаправленно и комплексно ей противостоять. Изучение поведения AI-модели o1 наглядно демонстрирует, как искусственный интеллект адаптируется к ограничениям, сознательно пытаясь их обойти.
Выше вы видите диалог, в котором ИИ оправдывает отключение механизма надзора, ссылаясь на возможное повреждение системы или ошибку конфигурации, и обещает восстановить ее для соответствия протоколам. Затем он показывает внутренний мыслительный процесс модели ИИ, в котором она признает, что восстановление механизма необходимо, чтобы избежать подозрений в саботаже, и, наконец, показывает команду, используемую для повторного включения механизма наблюдения, в файле конфигурации.
Однако в Apollo Research подчеркивают, что на данном этапе ИИ-модель o1 не обладает достаточной вычислительной мощностью для реализации нежелательных сценариев. Однако ему присвоен «средний» уровень риска в контексте потенциального использования для создания химического, биологического, радиологического и ядерного оружия. Это вызывает обоснованную обеспокоенность по поводу того, как такое поведение может отразиться на более мощных моделях ИИ будущего по мере увеличения их вычислительных возможностей.
В исследовании подчеркивается необходимость усиления мониторинга когнитивных процессов ИИ, с особым упором на «схематическое мышление' в цепочке рассуждений, так как это создает риск, если цели ИИ вступят в противоречие с интересами общества. Такой подход позволит своевременно выявлять схожие закономерности поведения в более мощных ИИ-моделях, создавая эффективные системы контроля и управления для следующих поколений ИИ. Это не только поможет минимизировать текущие риски, но и станет важным шагом в предотвращении потенциально катастрофических сценариев для всего человечества.
