Японец применил DLSS 5 к живому видео с веб-камеры, и человек на нём постарел на десять лет

Пользователь из Японии пропустил через нейрорендеринг DLSS 5 поток с собственной веб-камеры в реальном времени. Итог разошёлся по сети с подписью о том, что технология оказалась обычным фильтром для соцсетей.

Спор, который последние две недели крутился вокруг игровых персонажей, получил в качестве испытуемого живого человека.

Результат совпал с наблюдениями по играм до мелочей. Мужчина на обработанном изображении выглядит старше примерно на десять лет, черты лица перестроены настолько, что зрители называли его другим человеком, а цветовая гамма ушла в странный оттенок.

Список повторяющихся искажений к этому моменту устоялся:

• носогубная складка подчёркивается даже там, где её нет у исходной модели

• рельеф вокруг рта, носа и лба усиливается, проступают ямочки

• лицо всегда освещается по классической трёхточечной схеме независимо от реального источника света в сцене

• общая палитра смещается в жёлто-серое, картинка становится пасмурной

• в движении мелкие детали расплываются и мерцают

Именно постоянство этого набора и превратило ролик в аргумент. Одно дело, когда лицо стареет у персонажа игры, и совсем другое, когда та же обработка делает то же самое с реальным человеком, снятым на камеру.

Возражения при этом весомые. DLSS 5 рассчитан не на видеофайл, а на трёхмерную сцену, из которой получает цвет кадра, нормали, векторы движения и сведения об освещении. У записи с веб-камеры ничего этого нет, и именно отсутствие векторов движения объясняет дрожание деталей в кадре.

Второй контраргумент ещё проще. Съёмка живого человека уже реальна, так что сделать её реалистичнее невозможно по определению, и сравнение здесь напоминает попытку наложить аниме-фильтр на аниме. Nvidia отдельно настаивает, что настройкой обработки должны заниматься разработчики игр под конкретный тайтл, а в интерфейсе для этого предусмотрено около двух десятков параметров.

Проблема в том, что оба возражения не отменяют исходного наблюдения. Если модель систематически добавляет возраст, усиливает одни и те же складки и переосвещает лицо по одной схеме независимо от того, что происходит в кадре, речь идёт о свойстве самой модели, а не о неумелом использовании.

Часть комментаторов сформулировала это резче – обработка не улучшает изображение, а заново его придумывает, опираясь на то, что видит на экране. Другая часть напомнила, что Nvidia описывает свою технологию иначе, а глава компании Дженсен Хуанг называл сравнение с фильтром для соцсетей полностью неверным.

Признают достоинства далеко не только защитники. Даже те, кто считает, что нейрорендеринг уничтожает художественное направление, отмечают, что в отдельных случаях, например в кадрах из Cyberpunk 2077, результат действительно выглядит убедительно. Наиболее осмысленным применением называют старые игры, где детализации изначально не хватает.

Блогер показал DLSS 5 на примере Death Stranding 2 и персонажи разом постарели на 20 лет

No Man's Sky стала первой игрой, где DLSS 5 понравилась даже критикам технологии

Обсуждение к этому моменту вышло далеко за пределы технической плоскости. В том же треде спорили о том, можно ли называть технологию мошенничеством, если она работает ровно так, как заявлено, и не приукрашивают ли современные смартфоны лица владельцев ровно тем же способом, только в обратную сторону.

DLSS 5 уже доступна. Исходники для наложения DLSS 5 на видео доступны тут.