Nvidia представила персональный суперкомпьютер с искусственным интеллектом. Компания начнет продавать систему под названием Project Digits, основанную на новом суперчипе GB10 Grace Blackwell, в мае этого года. Он обладает достаточной вычислительной мощностью для обработки сложных больших языковых моделей (Магистр права), при этом он достаточно компактен, чтобы поместиться на столе и питаться от стандартной электрической розетки. Раньше такого рода вычислительные мощности требовали гораздо более крупных и энергоемких систем.
«ИИ станет мейнстримом во всех приложениях и во всех отраслях. Проект Digits сделает суперчип Грейс Блэквелл доступным миллионам разработчиков. Размещение суперкомпьютера ИИ на столах каждого специалиста по данным, исследователя ИИ и студента даст им возможность участвовать в формировании эпохи ИИ».
Об этом заявил генеральный директор Nvidia Дженсен Хуанг.
Система Project Digits размером с традиционный настольный мини-компьютер, такой как Mac mini, может обрабатывать модели искусственного интеллекта, содержащие до 200 миллиардов параметров, и имеет стартовую цену в 3000 долларов.
Для еще более требовательных приложений две системы Project Digits можно объединить для обработки моделей, содержащих до 405 миллиардов параметров (Лучшая модель искусственного интеллекта Meta — Llama 3.1 имеет 405 миллиардов параметров.).
Чип GB10 Grace Blackwell обеспечивает производительность до 1 петафлопа с точностью FP4, что означает, что он может выполнять 1 квадриллион операций в секунду для обучения и запуска моделей искусственного интеллекта.
Система оснащена графическим процессором с ядрами Nvidia CUDA последнего поколения и тензорными ядрами пятого поколения. Он подключен через NVLink-C2C к процессору Grace с 20 энергоэффективными ядрами архитектуры Arm. MediaTek участвовала в разработке GB10, помогая оптимизировать энергоэффективность и производительность. Каждая система оснащена 128 ГБ унифицированной когерентной оперативной памяти и до 4 ТБ памяти NVMe.
Пользователи также получат доступ к библиотеке программного обеспечения Nvidia для искусственного интеллекта, включая комплекты разработки, инструменты оркестрации и предварительно обученные модели, доступные в каталоге Nvidia NGC. Система работает под управлением ОС Nvidia DGX на базе Linux и поддерживает популярные платформы, такие как PyTorch, Python и Jupyter Notebooks. Разработчики могут настраивать модели с помощью платформы Nvidia NeMo и ускорять рабочие процессы обработки данных с помощью библиотек Nvidia RAPIDS.
Пользователи могут разрабатывать и тестировать свои модели ИИ локально в Project Digits, а затем развертывать их в облачных сервисах или инфраструктуре центров обработки данных, которые используют ту же архитектуру Grace Blackwell и программную платформу Nvidia AI Enterprise.
Обратите внимание, что это далеко не первый «потребительский» суперкомпьютер с искусственным интеллектом от Nvidia. В декабре компания анонсировала версию своего компьютера Jetson стоимостью 249 долларов США для приложений искусственного интеллекта, предназначенную для любителей и стартапов, под названием Jetson Orin Nano Super, который может обрабатывать LLM с до 8 миллиардами параметров.
