Из 475 ведущих экспертов в области искусственного интеллекта 76% считают, что увеличение размера языковых моделей вряд ли приведет к созданию общего искусственного интеллекта, способного обучаться на уровне человека. Это ставит под сомнение оптимистичные прогнозы технологических компаний, которые после успеха генеративного AII в 2022 году, как ожидалось, достигнет интеллекта на уровне человека, просто увеличивая объем данных и вычислительной мощности. Теперь, когда запуск новых моделей прекратился, исследователи считают, что отрасль достигла тупика — и маловероятно, что дополнительные инвестиции изменит ситуацию.
Прогресс крупных языковых моделей (LLM) в последние годы был в значительной степени связан с архитектурой трансформатора. Это специальный тип нейронной сети, созданной Google в 2017 году, которая обучена большим количествам текстовых данных, предоставленных людьми. Благодаря этой архитектуре модели могут создавать наиболее вероятные ответы на запросы, используя свои нейронные сети алгоритмов, которые имитируют то, как работает человеческий мозг. Чем больше информации получает модель, тем точнее становится ее ответы.
Однако огромные суммы денег и энергии необходимы для продолжения увеличения размера этих моделей. Только в 2024 году компании, участвующие в генеративном искусственном интеллекте, привлекли инвестиции в 56 миллиардов долларов по всему миру. Эти деньги в основном касаются строительства центров обработки данных, которые были утроились из -за выбросов углерода с 2018 года.
По оценкам, к концу этого десятилетия человеческие данные, полученные в результате обучения ИИ, будут исчерпаны. Тогда будет два варианта: либо собирать персональные данные пользователей, либо обучить модели «синтетическим» данным, созданным самим ИИ. Но это может привести к «краху» LLM, поскольку он будет учиться на своих собственных ошибках, что приведет к регрессии крупных языковых моделей.
По словам опрошенных экспертов, ограничения текущих моделей возникают не только из их высоких ресурсов, но и из -за фундаментальных ограничений в их архитектуре.
Все эти проблемы не позволяют компаниям повысить эффективность ИИ. Например, GPT-5, обещанная моделью Openai, так и не появилась. Идея о том, что ИИ всегда может быть улучшен, просто увеличивая его размер, также оспаривается. Например, китайская компания Deepseek показала в этом году, что можно создавать AIS, которые работают так же, как и дорогие модели из Силиконовой долины, но потребляет гораздо меньше денег и энергии.
В прошлом году появились несколько моделей «рассуждения», которые потратили больше времени и ресурсов на анализ запросов, но дают более точные ответы, чем обычные модели. Эксперты считают, что объединение этих моделей с другими системами машинного обучения, особенно после оптимизации, является многообещающим направлением. Эксперты также считают, что программирование вероятностей может помочь создать ИИ, который ближе к человеческому интеллекту, чем существующие модели.
