Моддер добавил захват мимики лица в реальном времени в Oblivion Remastered

Моддер Gobacc создал систему захвата мимики лица в реальном времени для The Elder Scrolls IV: Oblivion Remastered, позволяющую управлять выражениями лиц персонажей через камеру смартфона или веб-камеру. Разработка вызвала восторженную реакцию сообщества, увидевшего в технологии потенциал для создания видео, документальных роликов и контента в стиле VTuber-ов.

Gobacc провёл несколько лет, работая с инструментами виртуального производства в новых версиях Unreal Engine, что помогло реализовать идею после выхода ремастера. Ключевой задачей стала обратная инженерия фреймворка LiveLink – системы Unreal для передачи данных захвата движений в редактор – и его активация в финальной версии игры.

Технология работает со всеми играбельными расами Oblivion, включая каджитов, орков и аргониан. Все расы используют или наследуют базовый риг MetaHuman, что избавило от необходимости дополнительной работы над каждой из них. Демонстрационные видео показывают, как персонажи в реальном времени повторяют мимику создателя – от улыбок до гримас.

Система поддерживает множество источников данных: приложение LiveLink Face на iPhone (использует технологию Apple ARKit для распознавания лица), веб-камеры, Android, и даже чистый аудиовход или локальные видеофайлы. Для базовой работы достаточно открыть приложение на телефоне и начать строить рожи перед камерой.

Сообщество предложило использовать технологию для создания документальных видео о лоре Elder Scrolls с эффектом присутствия внутри игрового мира. Один из пользователей предложил идею рэп-баттлов с участием персонажей вселенной, другой захотел создать VTuber-риг с М'Айком Лжецом.

Gobacc объяснил, что современные проекты на Unreal могут использовать плагин Live Link для потоковой передачи данных захвата движений из внешних источников. Система предполагает парное использование с дополнительными плагинами для интеграции конкретных источников данных. Oblivion вышла с этим плагином, но без каких-либо интеграций, поэтому разработчик создал собственный проект для интеграции источников и провёл обратную инженерию игры для приёма данных.

Я могу получать данные захвата движений от любой технологии, способной производить поток LiveLink.

Возможности варьируются от приложения, обрабатывающего веб-камеру, до профессиональных систем захвата движений вроде Captury или даже генерации мимики только из аудиодорожки.

Моддер планирует выпустить разработку публично после завершения работы над интеграцией в игру и созданием моста для передачи данных захвата движений. Основная функциональность уже работает, как показано в демонстрационных видео, так что релиз возможен до конца года. Gobacc отказывается от донатов, считая, что само использование мода людьми – достаточная награда.