Как и у каждой крупной технологической компании в наши дни, у Meta есть собственная флагманская модель генеративного ИИ под названием Llama. ЕЕ можно назвать уникальной среди основных моделей за счет того, что она «открыта», то есть разработчики могут загружать и использовать ее по своему усмотрению. Конечно, с определенными ограничениями. Это контрастирует с такими моделями, как Claude от Anthropic, GPT-4o от OpenAI (которая поддерживает ChatGPT) и Gemini от Google, доступ к которым можно получить только через API.
Однако в интересах предоставления разработчикам выбора различных инструментов Meta также сотрудничает с поставщиками, включая AWS, Google Cloud и Microsoft Azure, чтобы сделать доступными облачные версии Llama. Кроме этого, компания выпустила инструменты, призванные облегчить тонкую настройку и кастомизацию модели.
Что такое Meta Llama?
Llama — это целое семейство моделей, а не одна:
- Llama 8B
- Llama 70B
- Llama 405B
Последние версии — Llama 3.1 8B, Llama 3.1 70B и Llama 3.1 405B, выпущенные в июле 2024 года. Они обучаются на веб-страницах на разных языках, общедоступном коде и файлах в Интернете, а также на синтетических данных, т. е. на данных, сгенерированных другими моделями ИИ.
Llama 3.1 8B и Llama 3.1 70B — это небольшие компактные модели, предназначенные для работы на устройствах от ноутбуков до серверов. Llama 3.1 405B, с другой стороны, — это крупномасштабная модель, требующая при отсутствии некоторых модификаций оборудования центра обработки данных. Llama 3.1 8B и Llama 3.1 70B менее производительны, чем Llama 3.1 405B, но быстрее. По сути, это «дистиллированные» версии 405B, оптимизированные для низких накладных расходов на хранение и задержек.
Все модели Llama имеют контекстные окна на 128 000 токенов. Контекст модели или контекстное окно относится к входным данным (например, тексту), которые модель рассматривает перед генерацией выходных данных (например, дополнительного текста). Длинный контекст может помешать моделям «забывать» содержимое последних документов и данных, а также отклоняться от темы и делать неверную экстраполяцию.
Эти 128 000 токенов эквивалентны примерно 100 000 слов или 300 страницам, что, для справки, примерно соответствует объему произведений «Грозовой перевал», «Путешествия Гулливера» и «Гарри Поттер и узник Азкабана».
Что умеет делать Llama?
Как и другие генеративные модели ИИ, Llama может выполнять ряд различных вспомогательных задач, таких как кодирование и ответы на базовые математические вопросы, а также резюмирование документов на восьми языках: английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском. Большинство текстовых рабочих нагрузок, например, анализ файлов типа PDF и электронных таблиц, входят в ее компетенцию. Ни одна из моделей Llama не может обрабатывать или генерировать изображения, хотя это может измениться в ближайшем будущем.
Все последние модели Llama можно настроить на использование сторонних приложений, инструментов и API для выполнения задач. Они обучены из коробки использовать Brave Search для ответов на вопросы о недавних событиях. Подключено и API Wolfram Alpha для запросов, связанных с математикой и наукой, и интерпретатор Python для проверки кода. Кроме этого, Meta говорит, что модели Llama 3.1 могут использовать определенные инструменты, которые они раньше не видели. Но смогут ли они надежно использовать эти инструменты — это уже другой вопрос.
Для каких задач можно использовать Llama?
Если вы хотите просто пообщаться с Llama, то он поддерживает работу чат-бота Meta AI в Facebook Messenger, WhatsApp, Instagram, Oculus и Meta.ai. Разработчики, работающие с Llama, могут загружать, использовать или настраивать модель на большинстве популярных облачных платформ. Meta утверждает, что у нее более 25 партнеров, размещающих Llama, включая Nvidia, Databricks, Groq, Dell и Snowflake. Некоторые из этих партнеров создали дополнительные инструменты и сервисы на основе Llama, включая инструменты, которые позволяют моделям ссылаться на собственные данные и работать с меньшими задержками.
Meta предлагает использовать свои меньшие модели, Llama 8B и Llama 70B, для приложений общего назначения, таких как общение с чат-ботом и генерация кода. Llama 405B, по словам компании, лучше зарезервировать для дистилляции моделей — процесса переноса знаний из большой модели в меньшую, более эффективную модель, и генерации синтетических данных для обучения (или тонкой настройки) альтернативных моделей.
Важно отметить, что лицензия Llama ограничивает возможности разработчиков по развертыванию этой модели. Разработчики приложений с числом пользователей более 700 миллионов в месяц должны запросить у Meta специальную лицензию, которую компания предоставит по своему усмотрению.
Инструменты для Meta Llama
Наряду с Llama, Meta предоставляет инструменты, призванные сделать модель «более безопасной» в использовании:
- Llama Guard – фреймворк модерации.
- Prompt Guard – инструмент для защиты от атак.
- CyberSecEval – пакет для оценки рисков кибербезопасности.
Llama Guard пытается обнаружить потенциально проблемный контент, который либо подается в модель, либо генерируется ею, включая контент, связанный с преступной деятельностью, эксплуатацией детей, нарушениями авторских прав, ненавистью, членовредительством и сексуальным насилием. Разработчики могут настраивать категории заблокированного контента и применять блокировки ко всем языкам, которые Llama поддерживает из коробки.
Как и Llama Guard, Prompt Guard может блокировать текст, предназначенный для «атаки» модели и заставляющий ее вести себя нежелательным образом. Meta утверждает, что Llama Guard может защищать от явно вредоносных подсказок (т. е. джейлбрейков, которые пытаются обойти встроенные фильтры безопасности Llama) в дополнение к подсказкам, которые содержат «внедренные входные данные».
Что касается CyberSecEval, то это не столько инструмент, сколько набор бенчмарков для измерения безопасности модели. CyberSecEval может оценить риск, который модель Llama представляет (по крайней мере, согласно критериям Meta) для разработчиков приложений и конечных пользователей в таких областях, как «автоматизированная социальная инженерия» и «масштабирование наступательных киберопераций».
Ограничения Llama
Как и все модели генеративного ИИ, Llama сопряжена с определенными рисками и ограничениями. Например, неясно, обучала ли Meta Llama контенту, защищенному авторским правом. Если бы это было так, пользователи могли бы нести ответственность за нарушение, если бы они непреднамеренно использовали фрагмент, защищенный авторским правом, который модель сгенерировала.
Meta в какой-то момент использовала защищенные авторским правом электронные книги для обучения ИИ, несмотря на предупреждения своих собственных юристов, согласно недавнему сообщению Reuters. Компания спорно обучает свой ИИ на постах, фотографиях и подписях в Instagram/Facebook и затрудняет для пользователей возможность отказаться от использования их контента. Более того, Meta, наряду с OpenAI, является предметом продолжающегося судебного иска, поданного авторами, включая комика Сару Сильверман, по поводу предполагаемого несанкционированного использования компаниями защищенных авторским правом данных для обучения моделей.
Программирование — еще одна область, где разумно быть осторожным при использовании Llama. Это потому, что Llama может, как и ее аналоги генеративного ИИ, создавать глючный или небезопасный код. Как всегда, лучше всего, чтобы любой код, созданный с помощью ИИ, проверил эксперт-человек, прежде чем включать его в сервис или программное обеспечение.
