Местная реализация крупных языковых моделей на персональных компьютерах — это подход, который становится все более популярным. Чтобы справиться с этой задачей, AMD запустила Gaia, программу с открытым исходным кодом, предназначенную для локального запуска i-моделей на ПК с Windows.
GAIA предлагает дополнительную оптимизацию производительности для процессоров Ryzen AI, и запуск AI выполняется с использованием инструментов SDK Lemonade.
Программное обеспечение позволяет адаптировать и моделировать для различных целей: они могут подготовить сводки крупных текстов или справляться со сложными задачами, которые требуют навыков рассуждений. GAIA работает через компонент поколения, выпущенной в поисках (Тряпичный), который объединяет ИИ с базой знаний, чтобы пользователь получил более точные ответы на его / ее запросы в зависимости от контекста.
Тряпка включает в себя четыре агента:
- Простое завершение быстрого приглашения — обеспечивает прямое взаимодействие с моделью, предназначенной для тестирования и оценки.
- Чат — ответственный за интерфейс чатбота.
- Клип — выполняет YouTube с вопросом и ответами.
- Joker — генерирует шутки и добавляет индивидуальность в чат -бот.
GAIA решает специализированные проблемы искусственного интеллекта с помощью Lemonade SDK, работая в различных средах реализации. Lemonade открывает веб -сервис для языковой модели и взаимодействует с приложением GAIA через совместимый с API Openai REST. Приложение действует как агент AI, который извлекает и обрабатывает данные, «векторализуется» внешний контент (например, данные из GitHub, YouTube и текстовые файлы) и хранит его в локальном векторном индексе. Проще говоря, GAIA улучшает запросы пользователей, прежде чем они будут обработаны моделью ИИ, повышая точность и актуальность ответов.
Гибридный установщик, оптимизированный для процессоров Ryzen, который позволяет GAIA использовать встроенный нейронный процессор (NPU) и интегрированную графику Ryzen AI для расчетов. Локальный запуск моделей искусственного интеллекта имеет несколько преимуществ по сравнению с облачными сервисами: данные остаются защищенными, задержка снижается, а в некоторых случаях производительность улучшается. Кроме того, локальные модели не требуют подключения к Интернету.
