Nvidia использовала ИИ для создания реалистичной фальшивой замедленной съемки

Один из самых сложных эффектов для фальсификации — замедленная съемка. Она требует от программ растягивать ограниченное число кадров в десятки раз, так что результат обычно выглядит как слайд-шоу. Однако если воспользоваться невероятными возможностями обработки изображений при помощи глубокого обучения, то можно создать практически идеальную замедленную съемку, которую будет сложно отличить от реальной. 

Пример такой разработки привела Nvidia, взяв за основу обычный видео-клип и подняв его частоту кадров до 240 fps. 

Замедление видео из 30 кадров в секунду до 240 кадров в секунду требует создания 210 дополнительных кадров на каждую секунду. Или по семь искусственных кадров между реальными. Нельзя просто взять и смешать или использовать технику морфинга, чтобы получить правдоподобную замедленную съемку. 

Хотя есть профессиональный софт, позволяющий добиться достаточно высокого качества, он требует комплексного анализа клипа и занимает часы на рендеринг. Nvidia же использовала иной подход. 

Компания обучила ИИ на основе 11 тысяч роликов, каждый из которых был снят в 240 fps. Благодаря этому нейросеть смогла предугадывать, какими должны быть 210 дополнительных кадров на основе тех, что доступны.

Гипотетически, это может проложить путь к съемке замедленного видео на смартфоне в 4К.