Новая технология апскейлинга Adobe использует ИИ для улучшения качества видео

Большинство новых функций и экспериментов, анонсированных Adobe в последнее время, связаны с ИИ, например, добавление и удаление объектов в Premiere Pro и генерация изображений на основе текста в Photoshop. Теперь компания представила VideoGigaGAN — экспериментальную функцию ИИ, которая, по ее словам, может увеличить разрешение видео в восемь раз без обычных артефактов, таких как мерцание или искажения.

По словам Adobe, VideoGigaGAN превосходит другие методы повышения разрешения видео (VSR), поскольку избегает обычных артефактов и мерцания, вносимых GAN (General Adversarial Networks). В то же время он добавляет резкость и детализацию — там, где большинство других систем не могут сделать и то, и другое одновременно.

Естественно, система создает детали из ничего, поэтому это не стоит использовать ее для чего-то серьезного. Но добавляемые ею детали выглядят впечатляюще реалистично, например, текстура кожи, тонкие волоски, детали перьев и многое другое. Отличный способ повысить качество исходного материала, когда нет возможности достать оригинал высокого разрешения.

Предыдущие модели VSR испытывали трудности с генерацией богатых деталей в результатах, поэтому Adobe объединила "временное внимание" (уменьшение артефактов, накапливающихся со временем), распространение признаков (добавление деталей там, где их нет), сглаживание и нечто под названием "HF shuttle" (переброска высокочастотных осоюбенностей) для создания окончательного результата.

Если эту технологию добавить в такие продукты, как Premiere Pro или After Effects, она позволит творцам значительно улучшить разрешение низкокачественных кадров, хотя использование ИИ для улучшения изображений людей — спорная практика. Пока неизвестно, планирует ли Adobe добавлять технологию, та как сейчас видео ограничены частотой 12 кадров в секунду, однако множество компаний, включая Nvidia, Microsoft, Blackmagic Design и другие, уже работают над аналогами.