Nvidia использовала ИИ для создания реалистичной фальшивой замедленной съемки

Nvidia использовала ИИ для создания реалистичной фальшивой замедленной съемки

Один из самых сложных эффектов для фальсификации — замедленная съемка. Она требует от программ растягивать ограниченное число кадров в десятки раз, так что результат обычно выглядит как слайд-шоу. Однако если воспользоваться невероятными возможностями обработки изображений при помощи глубокого обучения, то можно создать практически идеальную замедленную съемку, которую будет сложно отличить от реальной. 

Пример такой разработки привела Nvidia, взяв за основу обычный видео-клип и подняв его частоту кадров до 240 fps. 

Замедление видео из 30 кадров в секунду до 240 кадров в секунду требует создания 210 дополнительных кадров на каждую секунду. Или по семь искусственных кадров между реальными. Нельзя просто взять и смешать или использовать технику морфинга, чтобы получить правдоподобную замедленную съемку. 

Хотя есть профессиональный софт, позволяющий добиться достаточно высокого качества, он требует комплексного анализа клипа и занимает часы на рендеринг. Nvidia же использовала иной подход. 

Компания обучила ИИ на основе 11 тысяч роликов, каждый из которых был снят в 240 fps. Благодаря этому нейросеть смогла предугадывать, какими должны быть 210 дополнительных кадров на основе тех, что доступны.

Гипотетически, это может проложить путь к съемке замедленного видео на смартфоне в 4К.

25 Комментариев

  • Noll
    Комментарий скрыт. Показать

    Это еще можно использовать для избавления разрывов кадра в играх, повышая частоту кадров рендера до частоты обновления дисплея. Эдакая вертикальная синхронизация будущего.

    15
  • iceace
    Комментарий скрыт. Показать

    @Noll, вот только не логичнее ли вместо обсчета пропущенных кадров использовать машинные ресурсы на обсчет самой сцены, чтобы кадры не пропускались?

    2
  • Ardni
    Комментарий скрыт. Показать

    @iceace, ну на самом деле зависит от сцены, и от того насколько разовьется эта технология, возможно это будет эффективней

    2
  • AlienMad
    Комментарий скрыт. Показать

    ой такая технология давно есть на телевизорах Sony ))) MotionFlow

    0
  • nigmatic
    Комментарий скрыт. Показать

    Очень круто, на видео с хокеистами у чувака нога немного пропадает там где цвета сливаются, но это все равно потрясающий результат. Что-то из ничего)

    3
  • EnergOo
    Комментарий скрыт. Показать

    @AlienMad, так напиши об этом Хуану, а то чего это их компания занимается тем что уже давно есть в телевизорах:)

    0
  • Spiter85
    Комментарий скрыт. Показать

    @iceace, Тут вопрос в тензорных ядрах, возможно выпустить карточку с посредственной мощностью традиционных ядер(cuda и т.д.) и добавлением тензорных,будет дешевле чем просто нарастить мощность,ну и конечно вопрос в скорости работы этих ядер,в теории при усложнении сцены требуемая производительность будет расти по экспоненте,с применением же подобного функционала сложность сцены не должна играть роли,ну это в теории конечно.

    1
  • AlienMad
    Комментарий скрыт. Показать

    @EnergOo, так им же надо для мониторов ))) так что пусть работают :D

    0
  • EnergOo
    Комментарий скрыт. Показать

    @AlienMad, тогда пусть продолжают xD

    0
  • Shazec
    Комментарий скрыт. Показать

    Обычный будничный функционал старой программы SVP для фильмов, давно смотрю из 24кадров 60(мой мониторный потолок) если ваш 120 то и 120fps нате.

    0
  • Spiter85
    Комментарий скрыт. Показать

    @Shazec, Разница есть,и существенная,в случае софтварного увеличения кадров с 24х до 60ти, каждый оригинальный кадр получает один - два дубликата,причем без какого-либо изменения,отсюда и эффект ускоренности в динамичных сценах,в данном же случае 8 кадров на каждый оригинальный,причем не просто дубликат,а прогнозируемое восстановление недостающих,со всеми вытекающими - если заметили в примере с теннисной ракеткой и шариком с краской,разброс частиц краски отличается от хардварного замедления,это как раз и демонстрирует работу нейросети.

    0
  • Комментарий скрыт. Показать

    Вот бы такой плагин для AfterFX :) И чтоб с любым видео-контентом работал. А то современные интерполяционные алгоритмы выдают слабенький результат.

    0
  • SaoDaG
    Комментарий скрыт. Показать

    @Shazec, Тоже юзаю СВП. Но там по сравнению с этим очень много артефактов. Если использовать подавление, то практически весь эффект плавности пропадает.
    Заверните эту технологию в СВП, пожалуйста. Буду очень рад .)

    0
  • GRAPHIC
    Комментарий скрыт. Показать

    Хуан таки выкатил Twixtor на стероидах.

    0
  • makame
    Комментарий скрыт. Показать

    @Noll, кто тебя плюсует?)) Второй коммент явно логичнее

    0
  • Soulrepair
    Комментарий скрыт. Показать

    @Spiter85, Как я правильно понимаю схожая технология будет применяться в будущих картах Nvidia, я имею ввиду "денойзинг"(убирание шумов) при рейтрейсинге.

    0
  • Shazec
    Комментарий скрыт. Показать

    @Spiter85, разницы с нейросетью не заметил, SVP рисует на лету новые промежуточные кадры, а не подмешивает копии, в ИИ от гугл заметил такие-же артефакты смазывания.

    0
  • Комментарий скрыт. Показать

    Уже же давно есть всякие телеки типа "1000Hz" которые как раз занимаются выдумываем кадров

    0
  • BountyHunter
    Комментарий скрыт. Показать

    @PlasmicSnake, 1000 Гц не более чем маркетинговая херня.
    нету телевизоров с такой частотой обновления матрицы. реальные там только 60 Гц.
    вот только в 2018 году кто-то там выпустил фул хд телевизор с матрицей на 120 Гц.

    0
  • Комментарий скрыт. Показать

    @BountyHunter, Как раз суть этой маркетинговой херни и заключается в том, что при 60 Гц между кадрами достраиваются новые кадры и так получают 200, 300, 500, 1000 Гц

    0
  • BountyHunter
    Комментарий скрыт. Показать

    @PlasmicSnake, можешь объяснить, каким боком при рефреш рейте в 60 Гц экран способен выдать эти самые интерполированные 1000 Гц?
    Те самые 1000 Гц - это возможности процессора телевизора (способность обрабатывать до 1000 кадров/с).
    Таким образом, они сглаживают картинку, выводя только 1 кадр, вместо 3, например.

    0
  • Комментарий скрыт. Показать

    @BountyHunter, чересстрочный вывод например, и матрицы там 120 герцовые

    0
  • BountyHunter
    Комментарий скрыт. Показать

    @PlasmicSnake, 120 герцовые матрицы появились в 2018 году и то, только на FULL HD телевизорах.

    0
  • Комментарий скрыт. Показать

    @BountyHunter, а как они до этого 3D в 60Гц показывали тогда?

    0
  • BountyHunter
    Комментарий скрыт. Показать

    @PlasmicSnake, значит телевизоры с 3д были 120 герцовые.
    либо, как выводится 1080i картина, чересстрочно.

    0
Войдите на сайт чтобы оставлять комментарии.