Многие дискуссии уже давно проводились в поиске лучшей архитектуры для крупных языковых моделей (LLM), которые могут быть альтернативой трансформаторам. Похоже, что создание стартапов на основе Калифорнии уже имеет многообещающее решение. Компания представила Mercury, первую в мире крупную диффузионную языковую модель, разработанную для коммерческого использования.
Согласно независимой тестовой платформе искусственного анализа, ртуть в 10 раз быстрее, чем современные флагманские модели. Его производительность превышает 1000 токенов в секунду графических процессоров NVIDIA H100, которые ранее возможны только на специализированных чипах.
«Трансформеры доминируют в генерации текста LLM и последовательно создают токены. «Диффузионные модели предлагают альтернативу — они генерируют весь текст сразу, используя процесс от грубых до деталей» — объяснил Эндрю Эн, основатель Deeplearning.ai, в публикации X.
Последняя фраза является ключом к пониманию того, почему подход лабораторий Inceptation интересен. Для более легкого понимания LLM, основанная на трансформаторах, обученная автоматической рефрессии, что означает, что они предсказывают слова (или токены) слева направо. Тем не менее, диффузия — это техника, что искусственный интеллект обычно используется для создания изображений и видео. Диффузия работает по -разному — она не движется слева направо, но создает весь текст одновременно. В этом случае все начинается с «шума», который постепенно очищается и получается поток токенов.
Меркурий может изменить игру и открыть новые возможности для операций LLM. И в соответствии с тестами, этот подход значительно влияет на скорость генерации текста.
Скорость и производительность Меркурия
В тестах стандартных критериев для кодирования Меркурий превышает скорость модели, такие как GPT-4O Mini, Gemini 2.0 Flash и Claude 3.5 Haiku.
В частности, мини -версия Mercury Coder достигла 1109 токенов в секунду.
2
Кроме того, стартап утверждает, что диффузионные модели имеют преимущество в логическом мышлении и структурированных ответах, поскольку они не ограничиваются предыдущими токенами.
3
Кроме того, они могут постоянно улучшать исходные данные, уменьшая галлюцинации и ошибки. Диффузионные методы используются в видео генераторах, таких как Сора и Мидюрни.
Компания также критикует современные методы логических выводов, которые требуют значительных вычислительных ресурсов для создания сложных ответов.
«Создание длинных логических цепей приводит к огромным вычислительным затратам и недопустимой задержке. «Чтобы сделать высококачественный ИИ доступным, требуется изменение парадигмы» — Сказанные Labs.
Startup выпустил предварительную версию Mercury Coder, чтобы пользователи могли проверить свои возможности.
Антропик недавно выпустил Claude 3.7 Sonnet, который является первой гибридной моделью для рассуждений и «лучший ИИ для этого специалистов«.
