Meta объявила о запуске большого открытого кода Llama 4. Он включает в себя модели Llama 4 Scout, Maverick и Behemoth, которые предоставляют мультимодальные возможности взаимодействия, т.е. Они могут соответствовать не только текстовым запросам, но и обработать изображения, видео и другие материалы. Модели обучаются большим количествам без опознавательного текста, графических и видеоданных, чтобы обеспечить широкое визуальное понимание.
Успех Ji-моделей китайской компании Deepseek, которые обрабатываются одинаково или лучше, чем предыдущие поколения свинца и модели ламы, побудили Meta ускорить процесс разработки в этом направлении. Согласно источнику, сотрудники компании прилагают большие усилия, чтобы понять, как DeepSeek смог снизить стоимость разработки и запуска своего R1 и V3.
Скаут Llama 4 имеет 17 миллиардов активных и в общей сложности 109 миллиардов параметров. Согласно Meta, он превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1 в обработке различных типов задач. Одной из основных особенностей II-модели является поддержание контекстного окна в 10 миллионов токенов.
Llama 4 Maverick имеет 17 миллиардов активных и в общей сложности 400 миллиардов параметров. По словам разработчиков, он превосходит Flash GPT-4O и Gemini 2.0 при тестировании в различных критериях, а также показывает сопоставимые результаты с V3 на DeepSeek в размышлениях и написании кода программы. Scout может работать с ускорителем графика NVIDIA H100, в то время как Maverick требует NVIDIA H100 DGX или эквивалентной системы.
Модель Behemoth Llama 4 имеет 288 миллиардов активных и около 2 триллионов параметров и превосходящих GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro в различных эталонах.
Он все еще обучен, поэтому он еще не доступен публично. Между тем, на llama.com доступны модели Scout и Maverick. Кроме того, помощник помощника Meta AI, доступный в приложениях компании, таких как WhatsApp, Messenger и Instagram, адаптирован для работы с Llama 4 в 40 странах. Возможность обработки мультимодальных запросов до сих пор ограничена английским языком и доступна только в Соединенных Штатах.
Компания утверждает, что LLAMA 4 является первой группой моделей искусственного интеллекта, которая использует «сочетание экспертов» (Мо) Архитектура, которая более эффективна в обучении и выводах. Архитектура MOE позволяет алгоритму разбить задачи подразделов, а затем делегировать их обработку в более мелкие и более специализированные «экспертные» модели «эксперт».
Следует отметить, что ни одна из моделей Llama 4 не является реальной «рассуждением», такой как GPT-O1 Openai или GPT-O3-Mini. Мышления модели проверяют их ответы на достоверность, и их ответы, как правило, более надежны, но получение их требует больше времени, чем взаимодействие с традиционными «разрушающими» I-моделями.
