Способность графических процессоров хорошо масштабировать производительность вычислений с точки зрения задержек с учетом классического «закона Мура» уже давно преподносится руководством Nvidia как спасательный круг для всего человечества. Поскольку взрывной рост систем искусственного интеллекта начинает замедляться, на горизонте появляются новые проблемы масштабирования производительности.
Как отмечает Financial Times, для многих в Кремниевой долине закон Мура был заменен новой концепцией: «закон масштабированияискусственного интеллекта. До недавнего времени считалось, что масштабирование вычислительной инфраструктуры и насыщение ее большими объемами данных приводит к качественным изменениям в системах искусственного интеллекта. По сути, ожидалось, что ИИ станет «умнее», но в результате уже несколько кварталов подряд все крупные компании технологического сектора были сосредоточены на активном увеличении вычислительной мощности своих дата-центров.
Ранее считалось, что нынешние темпы роста производительности дата-центров сохранятся до тех пор, пока не будет создан «сверхинтеллект», способный превзойти человеческий интеллект, но основанный на программных алгоритмах и зависимостях. Лишь в последние недели эксперты начали выражать обеспокоенность тем, что последние основные языковые модели OpenAI, Google и Anthropic не достигают необходимого прогресса по сравнению с предыдущими тенденциями.
Один из основателей стартапа Илья Суцкевер, покинувший OpenAI, недавно сказал: «2010-е годы были эпохой масштабирования, но сейчас мы вернулись в эпоху открытий и чудес. Примечательно, что год назад Суцкевер был уверен, что всю поверхность Земли придется покрыть солнечными панелями, чтобы обеспечить электроэнергией столько же центров обработки данных.
Многие участники рынка сходятся во мнении, что этап активного изучения языковых моделей подходит к концу, но для сохранения нынешних темпов прогресса необходимо перейти к следующему этапу. Генеральный директор Microsoft Сатья Наделла считает, что задержка в изучении больших языковых моделей не особенно ограничивает темпы прогресса, поскольку системы ИИ обретают способность рассуждать. По мнению основателя Nvidia Дженсена Хуанга, даже сокращение потребности в вычислительных ресурсах для обучения языковых моделей не будет означать падения спроса на ее продукцию. Разработчики AI-систем будут стремиться сократить время реакции системы на вопросы, задаваемые пользователями. По словам бессменного лидера Nvidia, эта гонка потребует еще больше аппаратных ресурсов, и это хорошо для бизнеса компании. Президент Microsoft Брэд Смит убежден, что рыночный спрос на чипы-ускорители будет расти еще как минимум год.
Однако переход ИИ-систем на новый этап развития должен быть обеспечен появлением реальных областей применения, полезных для бизнеса. С этим пока есть проблемы, поскольку любая инновация должна приносить материальную выгоду, а эффект от использования ИИ в его нынешнем виде во многих отраслях экономики пока не так очевиден. Это не помешало технологическим гигантам вкладывать огромные суммы денег в расширение своих вычислительных ресурсов. В этом году совокупные капитальные затраты Microsoft, Amazon, Google и Meta должны превысить $200 млрд, а в следующем году, вероятно, превысят $300 млрд, считают представители Morgan Stanley.
