Nvidia представила технологию искусственного интеллекта, которая сокращает использование видеопамяти на целых 85%

На конференции GTC компания Nvidia представила новую технологию нейронного сжатия текстур (Нейронное сжатие текстур, NTC), что, по утверждению компании, позволяет сократить использование видеопамяти графических процессоров до 85% без потери качества изображения. Разработка направлена ​​на оптимизацию производительности современных игр, которые становятся все более сложными и требуют значительных аппаратных ресурсов.

NTC заменяет традиционные методы блочного сжатия текстур небольшими нейронными сетями, которые распаковывают данные непосредственно во время рендеринга. Это уменьшает размер текстур, упрощает установку игр и снижает нагрузку на VRAM во время выполнения. Nvidia утверждает, что результаты выглядят еще лучше: разрешение финального рендеринга увеличивается в четыре раза.

В демонстрации компания показала сцену с виллой в Тоскане, которая при стандартном сжатии занимала 6,5 ГБ видеопамяти. Использование NTC уменьшило этот показатель до 970 МБ, при этом изображение осталось идентичным. Другой пример — шлем пилота: исходный объем текстур составлял 272МБ, блочное сжатие уменьшило его до 98МБ, а NTC — до 11,37МБ, что в 24 раза меньше исходного размера.

Кроме того, Nvidia представила концепцию нейронных материалов (Нейронные материалы). Он позволяет нейросети определять взаимодействие света с материалами без использования сложных математических вычислений.

Обычно графический процессор вычисляет взаимодействие света со всеми слоями текстуры, тогда как в Neural Materials сеть, обученная на всех данных текстуры, немедленно выводит готовый к пикселям шейдер с учетом света и угла. В тестовой сцене это обеспечило до 7,7 раз более быстрый рендеринг с разрешением 1080p без потери качества.

Технология NTC работает благодаря использованию механизмов матричного ускорения, которые представляют собой отдельный аппаратный блок в современных графических процессорах — Tensor Cores у Nvidia, двигателей XMX у Intel и ускорителей AI у AMD, поэтому базовая производительность не ухудшается. Именно эти блоки также используются для работы алгоритмов масштабирования изображения, таких как DLSS, FSR и XeSS.

Отмечается, что NTC не является генеративной моделью ИИ и обучается только на определенном наборе игровых текстур. Благодаря этому технология работает как инструмент целенаправленного сжатия без «галлюцинаций» и незапланированных артефактов.

Важно отметить, что эта инициатива не ограничивается Nvidia. В прошлом году Microsoft уже стандартизировала подобную технологию в DirectX под названием Cooperative Vectors. Intel и AMD также объявили о планах по внедрению аналогичных решений, что указывает на общую тенденцию в отрасли. В настоящее время ни одна игра пока не поддерживает Neural Texture Compression или Cooperative Vectors от Microsoft, но ожидается, что их реализация состоится в ближайшем будущем.