Чрезвычайно простая методология радикально повышает точность ответов LLM.

Команды разработчиков ищут новые, более сложные и эффективные способы оптимизации больших языковых моделей (LLM). Их заставляют думать шаг за шагом и даже подвергают эмоциональному шантажу. Однако новое исследование Google показывает, что все может быть гораздо проще: простое повторение запроса пользователя заметно улучшает качество ответа для ведущих моделей, включая Gemini, GPT-4o, Claude и DeepSeek. Метод дает значимые результаты для задач, не требующих сложных рассуждений.

Ключ к пониманию эффекта, описанного в статье, находится в архитектуре Transformer. Современные LLM обрабатывают текст строго слева направо, т.е. каждое последующее слово «не знает» о последующих. Это создает «слепое пятно»: модель может пропустить контекст, считанный в начале длинного запроса.

Повторная попытка запроса решает эту проблему. Когда модель обрабатывает вторую копию запроса, она уже «видит» первую, что позволяет ей обращаться ко всему тексту сразу. По сути, второй экземпляр получает двунаправленное внимание, что улучшает понимание и точность поиска информации.

Эксперименты на семи наборах тестов (включая ARC, MMLU-Pro) показывают впечатляющие результаты. В задачах точного поиска данных, таких как поиск 25-го имени в списке, точность модели Gemini 2.0 Flash-Lite увеличилась с 21,33% до 97,33%. При этом метод почти не увеличивает задержку ответа, поскольку основная нагрузка ложится на этап параллельной предварительной обработки текста.

Однако метод имеет ограничение: наиболее эффективен для задач без сложных рассуждений, таких как классификация или простые вопросы. Если в модели уже используется «цепочка мыслей», повторение подсказки становится излишним и не приносит существенной пользы.

Для бизнеса это открытие — редкая возможность бесплатно повысить эффективность.пишет Venture Beat. Менеджерам следует рассмотреть возможность автоматического дублирования подсказок в конвейерах задач прямого ответа, что может снизить стоимость использования более мощных моделей. В то же время необходимо учитывать новые риски: повторение может как усилить ограничения безопасности модели, так и сделать ее более уязвимой для хакерских атак.

Авторы исследования напоминают, что даже продвинутые системы искусственного интеллекта по-прежнему ограничены своей архитектурой. Пока не появятся новые разработки, простые решения, такие как повторение запроса, могут быть наиболее практичным способом получить более точный ответ. Возможно, скоро мы увидим механизмы вывода, которые молча дублируют наши запросы в фоновом режиме перед отправкой их в модель. Иногда лучшее решение — просто повторить запрос дважды.