Новая модель Openai может проглотить всю вашу оперативную память.
На этой неделе Openai представила свой долгожданный открытый GPT-B. Его основное преимущество — возможность запустить его локально на своем собственном компьютере, включая Mac с Apple Silicon Rocdessors. Вот как он работает и чего ожидать.
Модель поставляется в двух вариантах: GPT-ASS-20B и GPT-ASS-12BS Первым вариантом является «средняя» модель мощности, которая может быть запущена на самых высоких компьютерах Mac, если у них достаточно ресурсов. Вторая — «тяжелая» модель, которая требует гораздо более серьезного оборудования. Ожидается, что меньший вариант будет «галлюцинировать» чаще. Я приду к фактам-как у него меньший набор данных обучения. Но это быстрее и на самом деле работает на внутренних домашних компьютерах.
Даже в своей упрощенной версии GPT-B-интересный инструмент для тех, кто хочет попытаться запустить большую языковую модель на своем ноутбуке. Следует еще раз подчеркнуть, что, в отличие от обычного CHATGPT, эта модель работает без подключения к Интернету и по умолчанию не имеет многих «функций» сложных чат -ботов. Например, он не проверяет ответы через поисковые системы, что заметно увеличивает риск ошибок.
Openai рекомендует минимум 16 ГБ оперативной памяти для запуска GPT-CSS-20B, но на самом деле это скорее нижний пределкак вы можете видеть, как все работает. Неудивительно, что Apple недавно перестала продавать компьютеры Mac с 8 ГБ оперативной памяти — и все больше и больше становится обычной работой для компьютеров.
Начальная работа легко. Сначала вам нужно установить приложение Ollama — это то, что позволяет вам управлять моделью. Вы можете скачать его по адресу Ollama.com/download S затем откройте «терминал» и введите команды:
ollama pull gpt-oss:20b
ollama run gpt-oss:20b
Модель будет занимать около 15 ГБ дискового пространства. После загрузки его можно выбрать в интерфейсе Ollama. Если вы хотите, вы можете активировать «режим самолета» в настройках, чтобы убедиться местная работа — Интернет или регистрация не требуется.
С тех пор все просто: введите запрос и соблюдайте результат. Но помните, что модель использует все доступные ресурсы — и ваш Mac может замедлиться. Например, MacBook Air с M4 и 16 ГБ чипа памяти занимает более пяти минут, чтобы ответить на Hello. Расследование «Кто был 13 -м президентом Соединенных Штатов», заняло около 43 минут. Поэтому, если вы планируете серьезно использовать модель, 16 ГБ, чтобы выразить ее мягким, немного.
Если вам больше не нужна модель и вы хотите освободить место на диске, используйте команду:
ollama rm gpt-oss:20b
Вы можете найти больше информации на официальном веб -сайте Ollama или попробовать приложение Altersative MacOS, LM Studio.
