Как ИИ помог оживить Таноса в "Войне бесконечности"

Компьютерная графика в научной фантастике стала совершенно обычным делом. Сегодня не выходит практически ни одной картины, в которой так или иначе не применяется CGI. Однако в фильме “Мстители: Война бесконечности” Marvel и компания Digital Domain пошли еще дальше и задействовали ИИ для создания самого правдоподобного и детального злодея — Таноса.

Если Tron 3 и Wonder Woman стали первыми крупными тайтлами, которые используют возможности VR и AR — не обязательно в самих фильмах, то в случае с Таносом художники визуальных эффектов применили кое-что новенькое, для достижения лучших результатов.

Для создания анимации актер Джош Бролин, исполняющий Таноса, облачен в специальный костюм, а на его лице было размещено от 100 до 150 точек для отслеживания. Две вертикальные HD-камеры следили за каждым движением. Полученные данные загружались в алгоритм, основанный на машинном обучении, который имеет доступ к библиотеке лицевых сканов.

Называется этот софт Masquerade и главная его цель — помочь в передаче уникальных выражений лица Бролина. Программа использует модель низкого разрешения от HD-камер, после чего определяет, какую детализированную форму лица лучше использовать в той или иной сцене. Далее программа выдает решение и художник смотрит на результат. Если он не совсем верный, то художник может доработать модель.

Данный процесс повторяется снова и снова, пока рендеринг не будет соответствовать игре Джоша.

Насколько подобный процесс будет развиваться и использоваться в будущем, пока сложно сказать, так как машинное обучение и нейросети подходят далеко не для всех эффектов. С другой стороны ИИ уже показал свои способности заменять лица и улучшать изображения — его даже используют для сглаживания в новых видеокартах Nvidia.

Кто знает, возможно через 10-20 лет ИИ будут выполнять массу работы для кино — начиная от создания реалистичной графики, заканчивая кастингом и обработкой.