Лаборатория изучения исследований в области искусственного интеллекта Yandex, а также ученых из Национального исследовательского университета «Высшая школа экономики», Институт технологий Массачусетса (Институт технологий Массачусетса (Грань) Австрийский институт науки и техники (Ита) и Университет науки и технологии «король Абдулла» в Саудовской Аравии (Кауст) создал метод сжатия больших языковых моделей (LLM) без потери качества.
Теперь все, что вам нужно для работы с современными и моделями, это смартфон или ноутбук-нет необходимости в дорогих серверах и графических ускорителях.
Новый метод квантования называется бессвязностью хадамарда с гауссовскими оптимальными сетками (Хиггс) Это позволяет сжать нейронные сети без использования дополнительных данных и без вычислительной оптимизации параметров. Этот подход особенно выгоден в ситуациях, когда не хватает соответствующих данных для предварительного обучения II-модели. Метод Хиггса достигает баланса между качеством, размером модели и сложностью квантования, так что I-модели можно использовать на различных устройствах.
Кратко: Квантование — это метод для оптимизации процессора и реализации потребительского оборудования.
С помощью Хиггса можно значительно ускорить процесс тестирования и реализации новых решений на основе искусственного интеллекта, экономии времени и средств защиты.
Это сделает II модели более доступными не только для крупных, но и для небольших компаний, а также для лабораторий и некоммерческих институтов, отдельных разработчиков и исследователей. Если смартфон или модель ноутбука потребовались для запуска дорогостоящего кванта сервера (дорогой сервер (Этот процесс занял несколько часов до нескольких недель), теперь квантование может быть сделано непосредственно на смартфоне или ноутбуке за считанные минуты.
Новый метод квантования был протестирован на популярных Llama 3 и Qwen 2.5 и Qwen. В результате было обнаружено, что Хиггс является лучшим квантом с точки зрения соотношения качества/размера всех существующих данных без данных, включая 4-битный нормальный флоат и полунамированное квантование.
Метод Хиггса теперь доступен для разработчиков и исследователей в обнимании Face и Github, а Arxiv был опубликован в научной статье. Следует также отметить, что научный отчет, описывающий новый метод, был принят для участия в одной из крупнейших в мире конференций по искусственному интеллекту в североамериканском отделении Ассоциации вычислительной лингвистики (Наакл) это состоится с 29 апреля по 4 мая в Альбакрки (Нью -Мексико, США) Статья уже цитировалась Red Hat Ai USA, Пекинский университет, Гонконгский университет науки и техники и многое другое.
