Intel представила инструмент CGVQM AI, который позволяет объективной оценке качества изображения в современных играх. Модель анализирует искажения, вызванные методами масштабирования и улучшением графики, такими как увеличение шкалы (DLSS, FSR, Xess), генерируя персонал и другие методы рендеринга.
Традиционные индикаторы (Как PSNR) Они не всегда подходят для оценки графики в играх, поскольку они первоначально предназначены для анализа сжатого видео. Они не принимают во внимание конкретные артефакты, вызванные апкерами, трассировкой лучей или динамичным затенением. Например, мерцание, призраки, шаги, прерывания объектов и многое другое может возникнуть во время обработки.
Новая метрика, называемая Computer Graphics Visual Caffice Metric (CGVQM), использует искусственный интеллект для анализа видео информации и определения дефектов, вызванных текущими методами обработки изображений.
Команда исследователей из Intel — Akshai Jindal, Nabil Sadaka, Anton Sochanov и других предлагает два подхода. Во -первых, они создали набор данных CGVQD, который включает в себя сеть нейронного снижения шума, увеличение масштаба, интерполяцию кадров и адаптивное затенение, а затем использовала ее для обучения нейронной сети CGVQM, способных оценить качество изображения так же, как и человек.
Чтобы калибровать модель, группе добровольцев была показана видео в наборе данных и попросила оценить артефакты по шкале от «незамеченных» до «очень раздражающих». Эти данные стали основой для обучения 3D -нейронной сети 3D (3D-CNN) на основе архитектуры Resnet-18, которая может анализировать не только пространственные, но и искажения времени, что имеет решающее значение для видео.
В результате CGVQM превосходит большинство существующих метрик в тестах, особенно при работе с собственным набором данных.
Версия CGVQM-5 достигла результатов, близких к человеческому суждению, в то время как более простая CGVQM-2 занимает третье место среди проверенных систем. CGVQM также может проанализировать содержание третьих лиц за пределами обучающей выборки, что делает его универсальным инструментом. В будущем исследователи рассматривают возможность перехода к архитектуре Transformer для повышения производительности. Они также могут добавить анализ оптического потока в метрику для более подробной оценки.
