Новое исследование OpenAI показывает истинную природу галлюцинаций в моделях крупных языков: это не временный недостаток, а неизбежная математическая проблема, которая сохраняется даже с идеальными данными и сложными методами обучения. Хотя технически возможно уменьшить ошибки, позволяя искусственному интеллекту оценить свою собственную уверенность и воздерживаться от ответа, когда сомневается, такое решение экономически невыгодно и нецелесообразно. Потребители не хотят мириться с ИИ, который постоянно говорит: «Я не знаю». Таким образом, галлюцинации, вероятно, останутся неотъемлемой характеристикой языковых моделей в обозримом будущем.
Одна из причин заключается в том, как модели: EI предсказывает одно слово за раз, основываясь на вероятности. Этот метод, естественно, приводит к накоплению ошибок в генерации длинных текстов, что делает уровень галлюцинаций, по крайней мере, в два раза выше, чем в обычном да/нет. Кроме того, чем меньше модель сталкивается с фактом во время обучения, тем выше уровень ошибки. Например, если 20% знаменитостей встречаются только один раз в учебных данных, модели должны быть неправильными как минимум в 20% случаев.
Существующие подходы после обучения, включая отзывы людей, не полностью решают проблему. Анализ десяти популярных стандартов искусственного интеллекта показал, что большинство из них используют бинарную систему оценки, в которой ответ «я не знаю» наказывается так же, как и неправильный ответ.
Это поощряет модели «угадать» вместо честного признания неопределенности.
Документ OpenAI предлагает решение: чтобы позволить искусственному интеллекту оценить свою собственную уверенность, прежде чем отвечать. Модель могла ответить только в том случае, если она была более 75%. В то же время он получит «наказание» в 3 балла за каждую неправильную попытку, в то время как правильный ответ будет оцениваться только с 1 пунктом. Теоретически, это может уменьшить количество галлюцинаций, но на практике потребители, вероятно, откажутся от системы, которая слишком часто реагирует с «я не знаю».
Проблема усугубляется вычислительной экономикой. Модели, которые учитывают неопределенность, вынуждены многократно анализировать варианты и оценивать их достоверность, что значительно увеличивает нагрузку на вычислительные ресурсы. Особенно, когда речь идет о системах, которые обрабатывают миллионы запросов в день. Более продвинутые методы, такие как активное обучение, в которых искусственный интеллект задает разъяснения вопросов для снижения отсутствия безопасности, могут повысить точность моделей, но также повысить вычислительные требования. Эти подходы оправданы в специализированных областях, где ошибки стоят миллионы долларов, такие как дизайн чипов, финансовая торговля или медицинская диагностика. Для потребительских приложений они еще не являются экономически жизнеспособными.
Несмотря на технические возможности для сокращения галлюцинаций, текущие деловые стимулы противоречат этому.
Потребительские приложения по -прежнему доминируют в приоритетах для разработки ИИ. Пользователи хотят быстрых и безопасных ответов, а тесты и метрики поощряют системы, которые принимают каждый ответ, даже неверный. Это помогает поддерживать галлюцинации как неизбежный побочный эффект.
В конце концов, опрос OpenAI раскрывает неудобную истину: хотя потребительские приложения остаются приоритетом, галлюцинации будут поддерживаться. Полностью их удаление возможно только путем переосмысления стимулов и подходов к развитию искусственного интеллекта, а текущая компьютерная экономика и ожидания потребителей делают это маловероятно.
