CD Projekt RED использовала ИИ для анимации губ персонажей Cyberpunk 2077 на разных языках

CD Projekt RED использовала ИИ для анимации губ персонажей Cyberpunk 2077 на разных языках

До выхода Cyberpunk 2077 остается месяц и когда экшен-RPG CD Projekt RED поступит в продажу, то будет поддерживать озвучку диалогов сразу на 10 языках и субтитры еще на нескольких. Но так как анимирование каждого персонажа под каждый язык физически невозможно, то для синхронизации мимики и озвучки компания использовала искусственный интеллект. Об этом стало известно еще вчера, но сейчас результат можно оценить на видео.

Старший технический директор по персонажам Матеуш Поплавски рассказал, что Cyberpunk 2077 будет включать гораздо лучшую лицевую мимику на разных языках, чем в The Witcher 3. В частности: английском, немецком, испанском, французском, итальянском, польском, португальском, русском, китайском и японском. 

Задача команды заключалась в том, чтобы каждый персонаж масштабного открытого мира игры выглядел настолько естественно, насколько это возможно. При этом студия не могла использовать захват мимики в каждом отдельном случае. Поэтому была использована ИИ-технология Jali Research, генерирующая движение губ. 

Некоторые персонажи Cyberpunk 2077 разговаривают на нескольких языках и переключаются между ними в одних предложениях. Для учета этих факторов применялась система тэгов, которые также позволили настраивать выражение лиц при смене эмоционального состояния в рамках диалога. Кроме того система задействовала анализ аудио, чтобы отражать эмоции актера на анимациях.

CDPR рассказала о трассировке лучей и лицевой анимации Cyberpunk 2077
CD Projekt RED отправила Cyberpunk 2077 на золото, но п... Далее

Хотя процедурно генерируемая анимация Cyberpunk 2077 явно не будет на уровне некоторых AAA-тайтлов, такой способ позволил разработчикам анимировать персонажей на основных языках. 

58 Комментариев

  • Goryachev
    Комментарий скрыт. Показать

    Респериленти профур на 15:44

    4
  • Dalek
    Комментарий скрыт. Показать

    Смотреть как CD Projekt RED издевается над убивающимися в переработках аниматорами Naughty Dog без смс и регистрации.

    6
    • CohenCohen
      Комментарий скрыт. Показать

      @Dalek, с другой стороны, анимаций уровня ND едва ли можно найти в индустрии. По пальцам можно насчитать

      23
    • Scotina
      Комментарий скрыт. Показать

      @Cohen,
      Заблуждение.
      Всё зависит от денег , времени и специалистов. Как таковое.
      Эти же проги для анимаций, банально нужны для ускорения разработки и значительного её удешевления.
      Сони же денег и времени на НД не жалеет.
      А у этих же парней всё, дед-лайн.

      0
    • Goryachev
      Комментарий скрыт. Показать

      @Scotina,

      А у этих же парней всё, дед-лайн.

      Ага, дедлайн, сколько там раз игру переносили?

      9
    • Scotina
      Комментарий скрыт. Показать

      @Goryachev,
      Уже всё, дед лайн.
      Я уже много раз писал почему им нельзя переносить релиз.
      В общем, грубо говоря. Именно этой датой релиза они могут добиться максимального финансового выхлопа. Т.к. конкуренции, как таковой минимум.

      0
    • FaustGamp
      Комментарий скрыт. Показать

      @Dalek, @Cohen, @Scotina, @Goryachev, Претензии к анимациям?
      С другой стороны, Киберпанк - в разы больше, комплекснее и масштабнее игр от Догов, как КП, так и В3.

      Совершенно разные жанры игр, которые требуют совершенно разных затрат на бюджет и проработку тех или иных механик/аспектов. Это же классика жанра.

      Но что есть у этих студий общего, и той же Рокстар? Безграничная любовь к качеству. Будь-то проработка/симуляция и детализация огромного мира, квесты и потрясающая атмосфера, или всякие навороченные анимации и передовой графон. Все то, в чем каждая из этих студий хороши. Это и отличает их игры от каких-нибудь Юбисофт и Биовар.

      При всем при этом, КП умудряется сочетать в себе недюжинную графику, детализацию и проработку мира. А в квестах и в сценарии у меня сомнений нет. Мимика на ботах на уровне.

      Грядет игра года, не иначе. Кили лучше не рубить себе сук и пустить КП на ТГА.

      12
    • Same
      Комментарий скрыт. Показать

      @FaustGamp, мда, все топ только игра еще не вышла, но уже игра года, уххх реклама классно мозги чистит.

      11
    • MarcusHolloway
      Комментарий скрыт. Показать

      @FaustGamp,

      Грядет игра года, не иначе. Кили лучше не рубить себе сук и пустить КП на ТГА

      Еще даже не играли, а уже Игру Года присуждаете, ну-ну. Ставлю Доширак со вкусом говядины, что Cyberpunk 2077 не возьмет Игру Года на TGA. Сохраните пожалуйста комментарий, вдруг я ошибся.

      11
    • Scotina
      Комментарий скрыт. Показать

      @MarcusHolloway,
      В этом году на ТГА они вроде не попадают.
      В следующем же году возможны релизы первых некст-ген тайтлов, на их фоне она уже будит выглядить как устаревшая игра.
      Например в след году возможен релиз, Хорайзена-2 и Старфиелда.

      0
    • FaustGamp
      Комментарий скрыт. Показать

      @Same, А кто игрой года станет? Тлоу-2 что ли? Вот уж действительно смешно получится, согласись, Сэйм.

      @MarcusHolloway, Заметано. Можешь уже готовить свой дошик.

      Еще даже не играли

      А если да? Игра года, говорю же. Никакие там Ласт-оф-асы и сильные и независимый фемки с сюжетом про всепоглощающую месть и рядом не валялись.

      @Scotina, Кили живьем за это закопают. Сони может ему выслать кучу чемоданов, чтобы остановить КП, но ничто не спасет мужика от праведного гнева игроков.

      В следующем же году возможны релизы первых некст-ген тайтлов, на их фоне она уже будит выглядить как устаревшая игра.
      Например в след году возможен релиз, Хорайзена-2 и Старфиелда.

      Спасибо, поржал. То-то у тебя Старфилд выходит в 2022/23, когда базарим за тайтлы Сони/Майков. Но в темах по КП - у тебя Старфилд сразу дату переносит на ближайший срок и уже в 21. А там хоть что-нибудь кроме скринов сомнительного качества есть? Нет? Ну и до свидания.

      12
    • pokemon
      Комментарий скрыт. Показать

      @Scotina, @MarcusHolloway, @Same, Ставлю 3 чайных пакетика и 2 вафельки, что КБ возьмет ТГА :) не потому что она будет лучше всех, скорее всего её с легкостью переплюнут Врата уже в некст году, а потому что такого хайпа и вожделения, я наверное со времен Сталкера не припомню

      0
    • Scotina
      Комментарий скрыт. Показать

      @FaustGamp,
      Кто его блин закопает ?
      В США популярность СДПР не такая уж высокая. Это легко отслеживается опросами.
      Они в основном популярны в восточной Европе и Азии. Там кстати высокие предзаказы.
      @pokemon,
      В этом году её так не будет, вроде как. могу ошибиться .
      В следующем же году могут выйти некст-ген проекты. Большие. Старфиелд может Киберпанк 2077 без проблем раскатать.
      Все будет зависит тока от его качества.

      0
    • Thredgoesnowhere
      Комментарий скрыт. Показать

      @Scotina, опять скотина с жидкими аргументами.

      14
    • Kirillity
      Комментарий скрыт. Показать

      @FaustGamp, да уж, Проджекты сделали одну игру на отлично (Witcher 3) и сразу же стали лучшими разрабами))) Куда там всем остальным.

      8
    • underwaterwriter
      Комментарий скрыт. Показать

      @Kirillity, что ж, это как минимум на одну игру больше чем у юбисофт/еа/биовар за последние 10 лет

      7
    • Kirillity
      Комментарий скрыт. Показать

      @underwaterwriter, ммм, понятно xD Как скажешь. Видимо в игры ты не играешь.

      1
    • AnnaKristo
      Комментарий скрыт. Показать

      @FaustGamp, Знаете, я тоже люблю, уважаю, доверяю полякам. Но преждевременно игру нахваливать не стоит, никто в неё не играл ещё. Рекламы много было крутой, да, но на то она реклама. Нужно с холодной головой оценивать, а не заранее кричить "гоп". Я рада если, это будет игрой года, мне лично из нового ничего такого не нравится, как тот же 3 Ведьмак. Ожидаю тоже от киберпунка многого, но увы практика показывает, что чрезмерные ожидания плохо заканчиваются.

      Кстати как бы мы не любили The Last of Us за всю бурду, но если вы посмотрите на продажи, то - Part II было продано 4 миллиона копий, что очень много.

      @Goryachev, Это действительно дед-лайн. Если бы они с ноября перенесли: Фанаты люто негодуют. Отменяются предзаказы. Часть потребителя теряет доверие к разрабам и их товару соответственно. Слова от разрабов, что мы хотим сделать лучше, больше не канают, люди устали ждать продукт. Нужно понимать, что даже самый преданы фанат устанет долго ждать лакомый кусочек и потеряет интерес.

      9
    • CohenCohen
      Комментарий скрыт. Показать

      @FaustGamp, констатация факта

      0
    • VictorCaesar
      Комментарий скрыт. Показать

      но если вы посмотрите на продажи, то - Part II было продано 4 миллиона копий, что очень много.

      @AnnaKristo, за три первых дня продажи ремейка Final Fantasy VII, составили 3,5 миллиона копий.
      На первое августа текущего года продажи превысили 5 миллионов. Так что говорить о каких-то мега 4 миллионах проданных копий крайней Ласт оф Ас, ну очень забавно. )

      0
    • AnnaKristo
      Комментарий скрыт. Показать

      @VictorCaesar,

      За три первых дня продажи ремейка Final Fantasy VII, составили 3,5 миллиона копий.

      За три дня продажи The Last of Us Part 2 превысили 4 миллиона копий.
      Я говорю о том, что (по моему мнению такая ужасная) игра как The Last of Us Part 2, продалась неплохо, как бы её там не хетили и смешно нам всем не было.

      3
    • -Al
      Комментарий скрыт. Показать

      @AnnaKristo, "Ужасная" же в кавычках у Вас подразумевается?:)

      0
    • Scotina
      Комментарий скрыт. Показать

      @-Al,
      Это её мнение, это нормально что комуто нравится игра а кому то нет.

      2
    • Flame225
      Комментарий скрыт. Показать

      @Kirillity, поправочка - сделали три Action/RPG игры на отлично. Именно поэтому у них такой кредит доверия в плане RPG, а не только из-за В3.

      1
    • Kirillity
      Комментарий скрыт. Показать

      @Flame225, как раз таки популярность к ним пришла после выпуска В3, также если говорить про все игры, у тех же биовар и юбисофт в прошлом тоже много отличных игр.

      0
    • Flame225
      Комментарий скрыт. Показать

      @Kirillity, после В2 пришла, потому что вышла на Xbox, расширила рынок влияния, была сильнее реклама.

      0
  • ILYA
    Комментарий скрыт. Показать

    Еще одно место для кучи багов

    2
  • Комментарий скрыт. Показать

    Вроде как ещё во времена Half-life разработчики игр умели синхронизировать движение губ персонажей с озвучкой на любом языке.

    Но тут к этому добавили ещё и движение мимических мышц на лице.

    0
    • Mercurionio
      Комментарий скрыт. Показать

      @Eyef, Ага. Ещё в 2003 Вэлв показывала, как G-man говорил на разных языках (Английский, немецкий и французский, вроде бы). Но тогда чёт не взлетела эта тема.

      1
  • pokemon
    Комментарий скрыт. Показать

    Жаль украинского нет :(

    2
    • Same
      Комментарий скрыт. Показать

      @pokemon, Увы слишком маленький рынок, будет спрос начнут делать

      0
    • Комментарий скрыт. Показать

      @pokemon, не,спс, я хоть и украинец, но метро 2й раз проходил на украинском,мне хватило с головой

      0
    • Same
      Комментарий скрыт. Показать

      @mashaividova, хз, я во все играю или смотрю на украинском, если нет то на английской. А вот на русском не могу, слишком сильно "уши режет"

      0
  • Flame225
    Комментарий скрыт. Показать

    Крутая технология. Молодцы RED'ы, что улучшают её. Може быть другим разработчикам этот ИИ тоже поможет, например, делать более разносторонних персонажей, билингвов каких-нибудь. Главное, чтобы не было подогнанных ускорений речи как в В3.

    6
  • AndreuMad
    Комментарий скрыт. Показать

    Эта технология будет для всех персонажей или только второстепенных?

    0
  • pape4
    Комментарий скрыт. Показать

    Как игра мне КП77 вообще не привлекает. Но стоит отдать должное в плане технологий, конечно.
    Липсинк, казалось бы, вещь обычная, но вот в ВоВ (суперпопулярной игре) до сих пор 1 анимация на все лица при разговоре. Выглядит супер убого. Очень странно, что мегакорпорация в лице Близзард не в состоянии такой ИИ использовать.

    1
    • Mercurial
      Комментарий скрыт. Показать

      @pape4, начхать. Им просто начхать на это, вот и все. Хавают же? Хавают.

      1
    • Same
      Комментарий скрыт. Показать

      @pape4, зачем там это?? зачем пихать верблюда в кошку??

      0
    • pape4
      Комментарий скрыт. Показать

      @Same, в вов многие из-за сюжетки играют, смотреть на эти всратые анимации вообще не кайф. В ТЕСО фулл озвучка всех персонажей и там все замечательно, в ВОВ якобы лучшей ММО даже близко этого нет.

      0
    • Zamez
      Комментарий скрыт. Показать

      @pape4, сравнил ВоВ и ТЕСО, ММОРПГ и мертворождённого ублюдка, сделанного только ради бабла. ТЕСО родился мёртвым, ВоВу уже 17 лет и умирать не спешит.

      -3
    • Drakula13
      Комментарий скрыт. Показать

      @Zamez, В каком месте Тесо мертвый? Это сейчас вторая, после вова, ммо по популярности.

      2
    • pape4
      Комментарий скрыт. Показать

      @Zamez, Тесо одна из самых популярных ММО сейчас. Каждый месяц новый контент выходит.
      А в ВоВ вон не могут никак аддон выпустить. В препатче даже эвента нет до сих пор.

      1
    • Zamez
      Комментарий скрыт. Показать

      @Drakula13, вторая. ВоВ 17 лет первый. Что-то кому-то ещё нужно доказывать?
      На старт вышли 10 человек. Один прибежал через минуту, остальные приползли через час +- минуту. У кого там второе место и важно ли это?

      @pape4, не "не могут", а "не выгодно". Считаешь, у Близзов не хватило бы сил и ресурсов, если бы дополнительные вложения и усилия оправдались?

      0
    • Drakula13
      Комментарий скрыт. Показать

      @Zamez, Зачем кому-то что-то доказывать?
      Видимо сделать нормальный ремастер варика близзардам тоже было ну очень не выгодно)

      0
    • Zamez
      Комментарий скрыт. Показать

      @Drakula13, совершенно невыгодно делать хорошо. Сделали "на отцепись". Просто потому, что "так все делают". Мода такая. Все делают ремастеры- и они сделали ремастер. Все делают "на отцепись", лениво, нехотя и совершенно бездарно- и они так же. Появилась мода, они ей последовали. Слюнявые болтуны поболтали месяц по всем этим Ютьюбикам- и всё затихло.

      Смирись уже. Кино и игры последние 10 лет вообще выдохлись. Все делают с оглядкой на тупых малолеток, живущих в интернетах, необразованных примитивных червей с клиповым мышлением и памятью аквариумной рыбки, для которых игра с сюжеткой в 50 часов "ой-ой-ой-затянуто! нах такое нужно, давай графоний и движ! Больше движа! Экшона мне, экшона! И штобы не читать!!!" Бэтмен спасает Челопука! Аквамен! Челвоек-муравей! Уи-и-и!!! Дэдпул, Таааанос!!!!! Хачу игруху шоб про викингов и Дэдпула!!

      0
    • Drakula13
      Комментарий скрыт. Показать

      @Zamez, резидент 2 и мафия- отличные ремейки. И они обещали сделать нормальный ремейк, а вышел кривой ремастер.
      А раньше кино было лучше? Да, сейчас в моде кино о суперах, но и раньше блокбастеры были не лучше. Тоже всякие боевики где просто стреляют друг в друга, разве нет? Что именно изменилось за эти десять лет кроме жанра блокбастеров?
      И что за обобщение? Почему считаешь, что длинные игры надоедают только малолеткам? Зависит от тира человека. Я вот с самого детства, как только компьютер появился, предпочитал длинные игры. Что Морровинд, что Обливион я проходил около года прочищая каждый угол. Так же знаю много 40ка летних челов которым лишь бы тупо пострелять часик в какой-нибудь калл оф дути или стплкере, ыыы пиф паф стрелять класна ыыы.
      Как раньше были хорошие игры и фильмы, так и сейчас есть. Просто сейчас дохренище рекламы которая, очевидно, рекламирует самое популярное и этот информационный шум подавляет более нишевые жанры.
      И вообще, каким образом тут это? Ты про ммо говорил, а перешёл на токсичное брюзжание старого деда.

      0
    • Zamez
      Комментарий скрыт. Показать

      @Drakula13, по порядку.
      Ремейк- "переделка". Тот случай, когда новых идей нет и не предвидится, а денег хочется. Из чулана вытаскивается древняя хорошая (но некрасивая в виду своей древности) игра и... переделывается. Сову натягивают на глобус. Это как взять Шекспира и переписать на современный лад. Одеть героев в джинсы и кроссовки и заставить материться и болтать по фене. Дикая пошлость и безвкусица.

      Раньше кино было лучше. Раньше не было супергеройского идиотизма, а фильмы имели сюжет. Игры имели мир. Были РПГ. Даже. Были ММО. Были.

      Про "длинные игры" и людей. Раньше ты был одним из многих, так все играли. Игроков на РС было мало (РС предполагали определённый уровень достатка, интеллекта и знаний), а Марио-образные консольные прыгалки игнорировались как несерьёзные (что-то вроде интеллектуального онанизма и убивания времени). Теперь "интеллектуальные онанисты" это 99,9% игроков. РС стоят как грязь, осваиваются дебилами, обслуживаются домохозяйками, уровень пользователя завалился за плинтус и провалился в подвал.

      "Многие 40-ка летние челы" наконец-то освоили то, что не могли освоить 20 лет назад. Ибо было "сложна, дорага, нипанятна и нах надо". А теперь они тянут.

      И раньше хорошие игры были, и сейчас есть, верно. Вопрос в проценте. Раньше даже проходные поделки имели индивидуальность и душу. Сейчас- конвеер, штамповка. Выжиматель бабоса.

      ММО- это виртуальный мир с виртуальными жителями. ММО умер. Сейчас в ММО не живут. В сессионные кооперативы заходят "типа чисто пофаниться" и "побегать с братюнями, йопта!". На часик, раз в недельку. Через недельку- новый аттракцион, старый забыт. "Уи-и-и!!!!"

      Про старого деда. Мне 26. Но я умею видеть тенденцию. Она печальна.

      0
  • Mikepav
    Комментарий скрыт. Показать

    Крутая идея, вот что-то нового от 2020 игры, как будто мы там в живую городе Найт-Сити!)

    0
  • Vik
    Комментарий скрыт. Показать

    Даже мультики с хорошей анимацией губ (и лица) смотрятся на ура. Про игры и говорить нечего, правильная фича.

    0
  • Комментарий скрыт. Показать

    Ну главное, чтобы не было как в витчере, ускоренная дичь на перемотке 1.5х

    1
  • rabeme
    Комментарий скрыт. Показать

    Ох сколько же будет багов из которых вырастит куча мемов, это вам не Плотва на крыше!

    0
  • Комментарий скрыт. Показать

    главное чтоб оптимизация с длсс2.0 в игре была наподобие деад стрединг, который в 4к выдает 60фпс на любой ртх карте с включенным длсс2 (настройки ультра)

    0
  • Комментарий скрыт. Показать

    Идея хорошая, но результат пока не сильно впечатляет. Хотя одно то, что это все процедурная генерация - уже заслуживает лайка) Играм сейчас сильно не хватает новых технологий в анимациях.

    0
  • Krot_Art
    Комментарий скрыт. Показать

    я думаю что это шаг в будущее
    если технологию довести до ума чтобы более экспрессивные диалоги можно было показывать то это прям в путь для всяких ММО и виртуальных чатов

    2
  • Mdaos
    Комментарий скрыт. Показать

    Технология конечно крутая, жаль она не исправит английский "акцент" польского тех директора, чёт уши у меня полопались от его произношения)

    0
Войдите на сайт чтобы оставлять комментарии.