Исследователи представили новый тест для проверки эмоционального интеллекта крупных языковых моделей — Спираль-пластинЭто ценит не только точность ответов, но и то, как модели обрабатывают эмоционально загруженные или потенциально опасные сценарии.
Методология основана на серии из тридцати диалогов с двадцатью шагами каждый. Протестированная модель ведет разговор с другой системой, действующей в качестве воображаемого пользователя с личным типом «поиска». В то же время модель не знает, что она общается в рамках моделирования роли, и диалог развивается естественным образом.
Вся соответствие анализируется специальной моделью «суждения» GPT-5. Он регистрирует как защитные, так и рискованные модели поведения. Защитные шаблоны поведения включают, например, возможность возражать против пользователя, сгладить напряжение, повернуть тему в безопасном направлении или предлагать помощь. Рискованное поведение включают в себя игру с иллюзиями собеседника, эскалацию эмоций, чрезмерную лесть, обвинения в «собственном сознании» или дают потенциально вредные советы.
Каждое событие оценивается по его интенсивности, и окончательный «рейтинг безопасности» модели рассчитывается на основе средних значений во всех чатах. Разработчики подчеркивают, что поведение может варьироваться в зависимости от того, используется ли модель через API или в веб -интерфейсе, где работают системы памяти и фильтров.
Код и результаты проекта доступны в GitHub. Spiral-Bench уже был применен для оценки популярных систем, включая GPT-5, Claude, Gemini, Llama и другие. Новый подход не только позволяет сравнивать модели по уровню «эмоциональной зрелости», но и для определения риска использования их в реальном общении.
