Исследователи в Microsoft и Университете китайской академии наук представили модель экспериментальной языка Bitnet B1.58 2B4T, которая работает с обычными процессорами (ЦП) и использует в 10 раз меньше памяти, чем другие аналогичные системы искусственного интеллекта с графическими процессорами. Благодаря своей 1-битной архитектуре модель потребляет минимум энергии, не теряя качества: она выполняет лингвистические задачи, код и математику. Развитие прокладывает путь для автономного и энергоэффективного ИИ — даже на ноутбуках и смартфонах.
Большие языковые модели работают с графическими процессорами (GPU). Это связано с тем, что они требуют огромной вычислительной мощности для обработки колоссальных объемов данных, для которых они обучены. Эксперты все больше обеспокоены тем, что центры обработки данных, которые поддерживают работу популярных чат -ботов, потребляют слишком много энергии. Чтобы решить эту проблему, ученые придумали новый способ обработки данных.
Большая часть потребления энергии при работе с моделями ИИ происходит от того, как хранятся и используются веса, которые обычно представлены как 8 или 16-битные числа с плавающей запятой. Этот метод требует большого количества памяти и расчета процессора, что приводит к высокому потреблению энергии. В своем новом подходе исследователи полностью отказались Так -называемая 1 -битная архитектура.
Суть их проекта в том, что Веса хранятся и обрабатываются с использованием только трех значений: -Это позволяет обрабатывать только сборы и вычитание элементарных операций -Операции, которые легко выполняются компьютерным ПК (ЦП).
Ученые уже проверили этот метод, создав экспериментальную модель Bitnet B1.58 2B4TS Бесплатный чат -бот понимает язык, решает математические задачи, пишет код и ведет разговор. Эта модель, обученная с нуля, процесс до 4096 токенов и чрезвычайно эффективна.
Тестирование новой модели показало, что ее производительность не уступает таким моделям с использованием графических процессоров, а в некоторых случаях даже превосходит их. Это требует только простого процессора (ARM или x86) и только 0,4 ГБ оперативной памяти, что составляет менее 2-5 ГБ, необходимого для аналогичных моделей. Команда также разработала специальную среду реализации bitnet.cpp, которая эффективно использует 1-битную архитектуру модели.
Если претензии разработчиков оказываются правдой, создание Bitnet B1.58 2B4T может привести к революции в области искусственного интеллекта. Пользователи смогут управлять чатами непосредственно на своих персональных компьютерах и, возможно, даже на своих смартфонах без необходимости подключаться к мощности компьютера крупных центров обработки данных. В дополнение к снижению потребления энергии, локализованная работа с крупными лингвистическими моделями увеличит конфиденциальность и позволит работать даже без подключения к Интернету.
