Новая технология Nvidia позволяет сжимать текстуры с 6,5 ГБ до 970 МБ благодаря нейронному рендерингу

Nvidia продолжает развивать технологии нейронного рендеринга, и речь идёт не только о громких анонсах на сцене. Спустя несколько дней после презентации DLSS 5 компания выпустила техническое видео с подробным разбором того, как новые системы будут работать внутри реальных движков.

Суть подхода – перенос текстурных и материальных данных в компактные нейросетевые представления для снижения потребления памяти и повышения производительности, а не просто очередной апскейлер в конце пайплайна.

Ключевая демонстрация связана с технологией нейронного сжатия текстур (Neural Texture Compression, NTC). В демо Tuscan Wheels компания показала, как потребление видеопамяти снижается с примерно 6,5 ГБ при использовании традиционного BCN-сжатия до 970 МБ с NTC – и при этом качество изображения остаётся близким к оригиналу.

При том же бюджете в 970 МБ нейросетевое сжатие сохраняло больше деталей, чем стандартное блочное. Практический результат – меньший размер установленных игр, более лёгкие патчи, сниженная нагрузка на канал загрузки и больше запаса для высококачественных ассетов на конкретной видеокарте. Для студий, которые постоянно борются с раздуванием текстур, такое сокращение даёт ощутимое преимущество.

Параллельно Nvidia развивает технологию нейронных материалов (Neural Materials, NM), которая применяет аналогичный принцип к шейдингу. Вместо хранения большого набора текстурных каналов и выполнения тяжёлых расчётов BRDF (функции двунаправленного отражения) поведение материала кодируется в компактное латентное представление. Небольшая нейросеть декодирует его в реальном времени на этапе рендеринга.

В одном из примеров материал с 19 каналами удалось сократить до восьми. Nvidia сообщила об ускорении рендеринга в разрешении 1080p от 1,4 до 7,7 раза в данной сцене.

Компания позиционирует технологию не как способ создания принципиально новой графики, а как более эффективный метод хранения и обработки уже существующих данных о материалах – что позволяет усложнять сцены без наращивания аппаратных требований.

Обе технологии входят в более широкую дорожную карту "нейронного рендеринга", которая выходит за рамки DLSS 5. Если DLSS 5 работает в конце пайплайна, применяя машинное обучение к финальному изображению, то NTC и NM встраивают компактные нейросети глубже внутрь движка.

Идея в том, чтобы назначить небольшие модели на конкретные задачи – декодирование текстур, обработку материалов, снижение нагрузки на память – вместо одного большого фильтра на последнем этапе формирования кадра.

Такой подход отражает и определённый раскол, наметившийся после анонса DLSS 5. Часть разработчиков и игроков настороженно относятся к ИИ-реконструкции, опасаясь, что она может подменять авторский замысел. Многие предпочли бы, чтобы ИИ использовался для оптимизации и производительности, не затрагивая визуальную идентичность игры.

Делая акцент на NTC и нейронных материалах, Nvidia демонстрирует другой путь – ИИ может приносить ощутимую пользу из "невидимых" частей пайплайна. Системы, которые сжимают ассеты, ускоряют шейдинг и высвобождают ресурсы, оставляя визуальный стиль игры полностью в руках создателей.