Intel выпустила новый ИИ-инструмент для объективной оценки качества картинки в играх

Intel представила инновационный ИИ-инструмент для объективной оценки качества изображения в современных играх. Computer Graphics Visual Quality Metric (CGVQM) уже доступен на GitHub в виде приложения на базе PyTorch и призван произвести революцию в способах измерения визуальных искажений, возникающих при использовании технологий масштабирования и генерации кадров.

В современных играх редко используется нативный рендеринг. Множество технологий, включая DLSS, FSR, XeSS и различные методы генерации кадров, могут вызывать визуальные артефакты:

• размытие движущихся объектов (ghosting)

• мерцание

• неправильное отображение участков после перемещения объектов (disocclusion)

• шумы

• и другое

До сих пор эти недостатки обычно оценивались субъективно, без единой системы измерения.

Существующие метрики, такие как пиковое отношение сигнала к шуму (PSNR), имеют серьезные ограничения при оценке качества игрового изображения, так как PSNR в основном предназначен для измерения качества сжатия с потерями, в то время как артефакты сжатия обычно не являются проблемой в играх.

Двойной подход к созданию объективной метрики

Исследователи Intel применили двойной подход для решения этой проблемы, описанный в научной работе CGVQM+D: Computer Graphics Video Quality Metric and Dataset.

Сначала они создали новый набор видеоданных – Computer Graphics Visual Quality Dataset (CGVQD), включающий различные типы визуальных искажений, возникающих при использовании современных технологий рендеринга. Исследователи рассмотрели искажения, связанные с трассировкой лучей, нейронным шумоподавлением, технологиями нейронного суперсэмплинга (FSR, XeSS, DLSS), гауссовым сплаттингом, интерполяцией кадров и адаптивным затенением с переменной частотой.

После этого они обучили ИИ-модель для создания новой системы оценки качества изображения, учитывающей широкий спектр возможных искажений – Computer Graphics Visual Quality Metric (CGVQM). Использование модели ИИ делает оценку качества графики в реальном времени более масштабируемым процессом.

Обучение на человеческих оценках

Чтобы гарантировать, что наблюдения ИИ-модели хорошо коррелируют с оценками людей, исследователи сначала показали новый набор видеоданных группе наблюдателей для создания эталонной базы. Участников просили оценить различные типы искажений в каждом видео по шкале от незаметных до очень раздражающих.

Получив базовые оценки качества, исследователи приступили к обучению нейронной сети, которая также могла бы идентифицировать эти искажения, в идеале не хуже человека. Они выбрали архитектуру 3D сверточной нейронной сети (CNN), используя остаточную нейронную сеть (ResNet) в качестве основы. Конкретно, была использована модель 3D-ResNet-18, специально обученная и калиброванная для распознавания интересующих искажений.

Выбор 3D-сети был решающим для достижения высокой производительности, так как такая сеть может учитывать не только пространственную (2D) информацию, но и временные (темпоральные) паттерны.

Результаты

Согласно исследованию, модель CGVQM превосходит практически все другие аналогичные инструменты оценки качества изображения, по крайней мере, на собственном наборе данных исследователей. Более сложная модель CGVQM-5 уступает только эталонной человеческой оценке каталога видео CGVQD, а более простая CGVQM-2 всё равно занимает третье место среди тестируемых моделей.

Исследователи также показали, что их модель не только хорошо справляется с идентификацией и локализацией искажений в наборе данных CGVQD, но и способна обобщить свои способности распознавания на видео, не входящие в обучающую выборку. Это критически важно для того, чтобы модель стала широко применимым инструментом.

Исследователи рассматривают несколько возможных путей улучшения этого подхода, включая использование архитектуры трансформеров для дальнейшего повышения производительности. Однако они выбрали архитектуру 3D-CNN из-за значительно меньших вычислительных требований по сравнению с трансформерами.

CGVQM уже можно скачать и, если вы любите заниматься анализом графики в играх, то он может стать важным инструментом в объективной оценке игр.