Искусственный интеллект развивается в удивительных темпах, нахождение новых возможностей и в то же время создает серьезные риски. Понимая потенциальную угрозу, крупные технологические компании, в том числе Google DeepMind, Openai, Meta, Anpropic и ряд непреодолимых организаций, собрались вместе, чтобы привлечь внимание к необходимости контроля того, как ИИ принимает решения.
В новом научном документе, поддерживаемом отраслевыми деятелями, такими как Илья Сацкевер и Джеффри Хинтон из Openai, звучит как предупреждающий сигнал: способность контролировать мыслительный процесс ИИ может исчезнуть в ближайшем будущем.
Документ фокусируется на технологии цепочки мыслей (Кроватка) — Метод, в котором ИИ делит сложную задачу застойных действий, аналогично тому, как человек делает это, например, когда он решает сложную математическую задачу. Такие методы являются неотъемлемой частью современных крупных языковых моделей, в том числе DeepSeek R1 и других сложных систем ИИ.
Авторы подчеркивают, что COT уже доказала свою эффективность в обнаружении нежелательного поведения ИИ. Например, он смог найти случаи, когда агенты ИИ использовали недостатки в своих системах вознаграждения или манипулировали данные для достижения желаемого результата. Однако, поскольку ИИ становится все более изощренным, становится все труднее понять, как он достигает своих выводов.
Следовательно, инициатива настаивает на том, что ее необходимо проанализировать более подробно, как корзина структурирована, и методы для поддержания их наблюдаемых. Также предполагается, что это считается важной компонентом стратегии безопасности ИИ.
В своем документе авторы отмечают, что мониторинг COT может стать редким и ценным инструментом для управления мощным агентом ИИ. Однако они предупреждают: нет уверенности, что такая прозрачность будет продолжать существовать. По этой причине разработчикам ИИ рекомендуется максимально использовать нынешнюю возможность, чтобы точно изучить, как эта возможность контроля может быть сохранена в будущем.
Тот факт, что представители конкурирующих компаний подписали совместный документ, показывает серьезность проблемы. Поскольку искусственный интеллект более глубоко входит в ключевые области жизни, гарантируя, что его безопасность становится не только технической, но и этической и социальной задачей.
