Разработчики Disney создали алгоритм дипфейков, который можно применять в кино

Разработчики Disney создали алгоритм дипфейков, который можно применять в кино

Всего за пару лет технология замены лиц при помощи нейросетей добралась до уровня, когда отличить фальшивку если не невозможно, то крайне сложно. Однако новая демонстрация от исследователей Disney превосходит все, что мы видели ранее. С такой основой технология может стать мощным инструментом для Голливуда.

Одна из главных сложностей в создании дипфейков — это необходимость создания обширной базы с лицом человека в разных условиях. Для высокого качества требуются буквально тысячи различных выражений и поз. Чем больше база, чем выше разрешение, тем лучше финальное качество. Но обычно изображения достают из любых доступных источников, так что качество ограничено. Даже если брать в качестве примера 4K, если это не портрет личности, то чаще всего кадрированное лицо не впечатляет разрешением.

Во время ивента 2020 Eurographics Symposium on Rendering исследователи ETH Zurich и Disney Research Studios представили новую работа, посвященную высококачественной замене лиц для визуальных эффектов. Разработчики применили несколько новых техник и подходов, позволяющих генерировать высококачественную замену лиц, уровень которой будет подходить для фильмов и сериалов.

Так как исправление проблем на отснятом материале при помощи графики или пересъемок — крайне дорогое удовольствие, то новый алгоритм способен исправлять мелкие недочеты во много раз дешевле и быстрее. С другой стороны, нас определенно ждет будущее, где мы не сможем верить фото или видео-материалам. 

17 Комментариев

  • -Al
    Комментарий скрыт. Показать

    Скоро и актеры живые не понадобятся. Достаточно будет одной фотки давно умершего.. чтобы "оживить" его опять..
    Даже не скоро, а уже..

    4
  • Fortuna
    Комментарий скрыт. Показать

    Я бы весь фильм про Хана Соло переделал и глянул на него еще разок:)

    2
  • Scotina
    Комментарий скрыт. Показать

    Я уже сейчас большинству новостей и прочему не верю.
    Через 10-20. Буду верить токо тому что увижу своими глазами.

    0
    • RedRob
      Комментарий скрыт. Показать

      @Scotina, а чего не верить то? Зайди на всем известные сайты, там давно уже есть видео, где все это с попеременным успехом, но работает. Теперь же, когда технологию разрабатывает такая крупная компания, то она явно качественно шагнет вперёд.

      1
  • RedRob
    Комментарий скрыт. Показать

    Так. Меня как фаната Звездных Войн волнует это с двух сторон:
    1). Заменят ли со временем Таркина и Лею в Изгое, потому что там графика сильно бросается в глаза?
    2). Значит ли это, что в условном третьем сезоне Мандалорца мы сможем увидеть, например, Люка Скайуокера, которого сыграет дублер, а лицо программа восоздаст по снимкам Хэмилла?

    Очень это все интересно. Ну и, есть предчувствие, что эту технологию мы увидим в новом Идиане Джонсе.

    3
    • Weilard
      Комментарий скрыт. Показать

      @RedRob, Насколько я понял для того чтобы всё получилось нужно много фотографий (образов) со всяко-разных ракурсов, с разным освещением, и желательно в хорошем разрешении. Именно с разрешением этих изображений и будут проблемы. Просто потому, что разрешающая способность фотографий прошлых лет, плёнки и т.д. отличалась от разрешений сегодняшних дней и цифры.

      0
    • RedRob
      Комментарий скрыт. Показать

      @Weilard, ну конкретно с ЗВ не должно быть проблем. Их уже давно перевели в 4к.

      1
  • dimidrum
    Комментарий скрыт. Показать

    Ну все же по примерам явно видно, что все сильно зависит от освещения целевого видео. При идеальном освещении разницу действительно может быть трудно уловить. Но при слабом освещении так или иначе понимаешь, что это фейк.

    И главное! Не забываем основную проблему дипфейков - вращение головы. Не просто так технологии в этой области демонстрируются всегда при эксклюзивно фронтальной съемке. Ибо поверни голову более чем на 30° и вся магия ломается.

    1
  • Flame225
    Комментарий скрыт. Показать

    Думаю, что в будущем профессия актёров обеднеет. Представьте, что можно оцифровать лицо любой кино-звезды и с помощью продвинутых технологий нацепить на любой фильм по желанию зрителя. Этим может же пользоваться не только Голливуд, но и стриминговые сервисы. А ещё если это объединить с виртуальной реальностью, с шлемами, что потенциально возможно, то любой поход в кинотеатр может обернуться для каждого зрителя абсолютно уникальным опытом, где человек может заказать для фильма лицо любого актёра. В кино родными останутся только движения тел и жесты, будут как куклы или манекены "безликие".

    0
    • raXler
      Комментарий скрыт. Показать

      @Flame225, тут мы сталкиваемся с 1) авторские права на личность (хз как это назывется правильно юридически), кароче без разрешения самого актера хрен кто его лицо будет где использовать. 2) в принципе сам талант. Нацепи лицо Тома Харди на Сашу Петрова и ничего не получится

      2
    • dimidrum
      Комментарий скрыт. Показать

      @Flame225, я не думаю, что актеры потеряют особо веса. Если подобное и случится, то это будет опция. И даже наоборот будет легче продвигать, мол, - "Смотрите только аутентичное кино, с вашими живыми, любимыми актерами, а не с их масками.".
      Это будет свой, отдельный бизнес.
      Единственное, что поменяется, это контракты. К примеру, подписываясь на роль во франшизе, может стать обязательным пунктом продажа прав на лицо, таким образом, если спустя 2 фильма, с актером что-то случится, будут разногласия, он начнет требовать слишком много денег и.т.д., актера могут уволить, но при этом продолжать использовать персонажа, по средству дипфейков.
      Ну и к слову, это явно приведет к рождению новых профессий. Банально - будут более востребованы пародисты, которые должны будут имитировать актерскую игру другого человека, и на которых будут применять дипфейки.
      Такой сценарий использования мне видится куда более логичным.
      А "замените лицо актера по вашему желанию"... может быть, но вновь, скорее это будет финтифлюшкой.

      0
    • Flame225
      Комментарий скрыт. Показать

      @raXler, это уже из области социальной фантастики. Долго думал на эту тему. Возможен такой вариант, что авторские права на личность исчезнут, например, вместе с защитой личных границ. Когда за человеком наблюдают со всех сторон, что-нибудь неизбежно утекает и становится общедоступным. Если представить себе, что человечество гипотетически будет жить в киберпанке, то актёров там даже спрашивать не будут. Если условному Голливуду потребуется яркая внешность для своих целей, он её использует, применив при этом всю свою корпоративную мощь. Да и народ вряд ли откажется от возможности менять фильм по своему усмотрению. Желание посмотреть кино со своим любимым дрим-кастом дорогого стоит :)
      Насчёт таланта как раз проблем не будет. В первую очередь важно именно лицо. Если можно его оцифровать, детально проработать всю мимику, то налепив лицо Тома Харди на Сашку Петрова мы получим того же Харди, только с телом Петрова. По крайней мере я так вижу возможную ситуацию развития технологий.

      @dimidrum, да, это будет опция, скорее всего. Но даже она может фундаментально повлиять на отрасль кино. Как минимум на производство. Берёшь статиста/каскадёра, он выполняет любые характерные движения, от экшен сцен до вполне обыденных вещей, а потом к нему цепляешь заранее заготовленную внешность, которую можно использовать бесконечно и не мириться с прихотями кино-звёзд, что там по гонорарам и контрактам (хотя это спорно, конечно).

      0
    • dimidrum
      Комментарий скрыт. Показать

      @Flame225, на сегодня даже близко не идет речи о цифровании мимики. Дипфейки это именно использование лица. Мимика на 100% зависит от целевого видео, на которое применяют технологию.

      То о чем ты говоришь, это вообще другой уровень и другие технологии.

      0
    • Flame225
      Комментарий скрыт. Показать

      @dimidrum, одно вытекает из другого. Конечно, пока технология сырая. Но, полагаю, и мимику научатся детально оцифровывать со временем и "приклеивать". Это не выглядит как фантастика даже сегодня, учитывая, как создают некоторые видео-игры.

      0
  • Kodi
    Комментарий скрыт. Показать

    А я то думал век доить бетмена это апофеоз капитализма, а теперь будут насиловать актеров еще долго после смерти.Застряв во вторичности и самоповторах,следующие поколения актеров удостоят роли чьейто глубокомысленной задницы, как джо трибиани из друзей.

    1
  • Soulrepair
    Комментарий скрыт. Показать

    "For DeepFaceLab, we chose the “Stylized Autoencoder” (SAE), as we consider this tobe that repository’s best performing model."

    Бред.

    В DFL cамая лучшая модель это SAEHD(улучшенная версия SAE)....почему эту модель не использовали в сравнении....

    0
Войдите на сайт чтобы оставлять комментарии.