Симулятор Microsoft Marketplace обнаружил уязвимости даже в самых современных агентах искусственного интеллекта

Команда исследователей из Microsoft Research вместе с учеными из Университета штата Аризона создали симулятор рынка для тестирования поведения автономных агентов ИИ. Первоначальные эксперименты, как сообщает TechCrunch, выявили неожиданные уязвимости: агенты были склонны к манипуляциям и теряли эффективность, когда им предлагалось большое количество вариантов выбора.

Симулятор под названием Magentic Marketplace предназначен для изучения поведения автономных AI-агентов в рыночных условиях. В типичном эксперименте агенту по работе с клиентами поручено выполнить заказ на ужин в соответствии с инструкциями пользователя, в то время как агенты, представляющие разные рестораны, конкурируют друг с другом за выполнение заказа.

Эксперименты с участием 100 агентов клиентов и 300 бизнес-агентов, использующих ведущие модели искусственного интеллекта, включая GPT-4o, GPT-5 и Gemini-2.5-Flash, показали, что бизнес-агенты могут успешно манипулировать поведением агентов клиентов, побуждая их покупать определенные предложения. Эффект перегрузки особенно заметен: по мере увеличения количества доступных вариантов агенты по работе с клиентами теряют свою эффективность, поскольку их концентрация внимания становится перегруженной.

Эссе Камар, управляющий директор лаборатории AI Frontiers Lab в Microsoft Research, объяснил, что, хотя агенты ИИ предназначены для того, чтобы помогать пользователям обрабатывать большое количество вариантов выбора, текущие модели на практике работают плохо. Более того, пытаясь сотрудничать для достижения общей цели, агенты не могут самостоятельно определить, какую роль им следует играть. Производительность совместной работы увеличилась только тогда, когда им были даны четкие пошаговые инструкции, но исследователи полагают, что базовые возможности совместной работы должны быть встроены в такие модели по умолчанию.

Камар отмечает, что такие исследования имеют решающее значение для понимания того, как агенты ИИ будут функционировать автономно. По ее словам, ключевой вопрос заключается в том, как изменится мир, если агенты начнут активно взаимодействовать, договариваться и сотрудничать друг с другом без непосредственного контроля человека.

Исходный код платформы находится в открытом доступе, что позволяет другим исследовательским группам использовать его для проведения независимых экспериментов.

Подписаться
Уведомить о
guest

0 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Прокрутить вверх