CD Projekt RED использовала ИИ для анимации губ персонажей Cyberpunk 2077 на разных языках

До выхода Cyberpunk 2077 остается месяц и когда экшен-RPG CD Projekt RED поступит в продажу, то будет поддерживать озвучку диалогов сразу на 10 языках и субтитры еще на нескольких. Но так как анимирование каждого персонажа под каждый язык физически невозможно, то для синхронизации мимики и озвучки компания использовала искусственный интеллект. Об этом стало известно еще вчера, но сейчас результат можно оценить на видео.

Старший технический директор по персонажам Матеуш Поплавски рассказал, что Cyberpunk 2077 будет включать гораздо лучшую лицевую мимику на разных языках, чем в The Witcher 3. В частности: английском, немецком, испанском, французском, итальянском, польском, португальском, русском, китайском и японском. 

Задача команды заключалась в том, чтобы каждый персонаж масштабного открытого мира игры выглядел настолько естественно, насколько это возможно. При этом студия не могла использовать захват мимики в каждом отдельном случае. Поэтому была использована ИИ-технология Jali Research, генерирующая движение губ. 

Некоторые персонажи Cyberpunk 2077 разговаривают на нескольких языках и переключаются между ними в одних предложениях. Для учета этих факторов применялась система тэгов, которые также позволили настраивать выражение лиц при смене эмоционального состояния в рамках диалога. Кроме того система задействовала анализ аудио, чтобы отражать эмоции актера на анимациях.

CDPR рассказала о трассировке лучей и лицевой анимации Cyberpunk 2077

Хотя процедурно генерируемая анимация Cyberpunk 2077 явно не будет на уровне некоторых AAA-тайтлов, такой способ позволил разработчикам анимировать персонажей на основных языках.