Нейросеть улучшила видео 1896 года до 4K-разрешения — выглядит, как современный ролик на смартфон
Существует множество веских доводов, почему техники машинного обучения могут представлять опасность — от манипуляции видео, до создания дипфейков, неотличимых от реальности. Как продемонстрировал Денис Ширяев на своем ютуб-канале, ИИ-инструменты могут приносить большую пользу. В недавно опубликованном ролике он показал, как глубокое машинное обучение позволило поднять качество и частоту небольшого черно-белого ролика 1896 года до 4K и 60 fps.
Это видео снял Луи Люмьер — один из знаменитых братьев Люмьер. Прибытие поезда занимает всего 45 секунд — это тот самый ролик, о котором легенды говорят, что первые его зрители в ужасе убегали из театра во время показа. Имела ли короткометражка такой эффект в реальности, не имеет значения, потому что сейчас мы можем взглянуть на запись в качестве, о котором даже не мечтали мастера движущихся изображений на рубеже 19 и 20 веков.
Для поднятия разрешения до 4K и частоты до 60 fps использовалось два алгоритма:
- Gigapixel AI отвечает за масштабирование
- DAIN отвечает за частоту кадров
В итоге создается ощущение, что видео могло быть снято на современный смартфон. В каком-то смысле даже жутковато осознавать реалистичность происходящего. Только подумайте — это 1896 год!
Оригинальное видео можно посмотреть тут.
- Несмотря на рыночную коррекцию, безумная гонка "кто больше потратит" в сфере ИИ продолжается
- В 2025 году Nvidia планирует поставить ИИ-серверов Blackwell GB200 на 210 миллиардов долларов
- Актеры озвучки видеоигр объявили забастовку из-за использования ИИ
41 комментария
Круто..........
"На современный смартфон" звучит притянуто, но всё равно, это круто. Всё-таки позапрошлый век.
Помню читал, что люди в первом кинотеатре в мире, когда им показали "Прибытие поезда" начали выбегать из зала с криками боясь попасть под поезд. Вот сколько времени прошло.
Постоянно юзаю гигапиксель по работе. И прочие топазовские утилиты тоже. Там что-то заапскейлить ума не надо никакого, а сама прога со слов намного умнее, чем на самом деле. Но софт полезный тем не менее.
@needStr0yent, подтверждаю
@needStr0yent, а для чего используешь?
@Cohen, ну для этого например https://i.imgur.com/kpkfcr4.jpg )) (там если что оригинал на лбу)
А так в основном с текстурами для 3д. Для текстур вещь реально очень полезная.
@needStr0yent, а, ну по студи для апскейла статики, подумал для видео :)
@Cohen, ну принцип тот же самый, просто времени займёт очень уж много. Да и в индустрии пока что очень ценят настоящее 4к, а подобные софтины, увы, не могут пока что обеспечить качество, которому можно поверить.
@needStr0yent, я недавно по работе апскейлил игровой ролик с 1080 до 4к (там были причины не рендерить настоящие 4к). Но для теста я сравнивал настоящие 4к и апскейленые через гигапиксель - я разницы не видел, мне местами даже казалось, что апскейлейные немного четче)
А по времени да, у меня на 1 фрейм около 10 сек уходило. Причем разницы между процем (i9 9900k) и gtx1070 я не заметил. Правда с секундомером не сидел не сравнивал, но по ощущениям одинаково.
@fofun, видимо повезло тебе) потому что в 90% случаев 2 кадра идущие друг за другом не идентично апскейлятся, если есть движение камеры и при просмотре в 4к это хорошо видно. Ты кстати смотрел видос на fullhd монике или именно в 4к? Потому что в fullhd можно и не заметить. Ну и апскейл игрового ролика ты мог запросто сравнивать с другим апскейлом, а не с нативным 4к) Или в конце концов с видосом на ютубчике, который 4к ужимает очень даже. Я говорю про чистый рендер. Если ты апскейлнутый видос скинешь какому-нибудь заказчику с мозгами - то они быстро на место поставят)
@needStr0yent, я апскейлил рендер с игрового движка (SFM). Смотрел на 1080 монике со 100% увеличением, не заметил каких-то багов.
Сравнивал потом апскейл и нативный рендер 4к. Вообще там стилизованная графика (дота2), мб поэтому я не заметил каких-то проблем. Заказчик работу принял)
@fofun, ну со стилизованной графикой из сфм кстати он норм должен работать, да. Как и с 2д моушн графикой или с мультиками. Так что да, вполне, верю)
Почему я вспомнил видео "Камеру вырубай Н###Й "
@TwistedMetal, тут съемка видео запрещена...
А вначале ютуб не хотел пускать видео, но видно мозги вправили кому надо.
На удивление смотрится очень живенько)
Трассировка лучей на вагонах - впечатляет!
Круто, видос Ширяева с дтф))
На самом деле - главная фича это 60фпс. Прям из-за этой плавности +1000 к реализму происходящего. Очень круто! По-другому на хронику дает посмотреть!
Что видео стало плавным и стабилизированным, это круто и сильно влияет на восприятие. Но шумодав, как по мне, несколько излишний и много мелких деталей потерялось.
Жаль только что нет видео 17 века, 15, 7, 2, 3 тысячелетия до нашей эры)
Они все как живые!)))
Действительно впечатляет!
Видео не плохое, но вот если бы оно дополнялось - было бы интереснее.
и тут подходит контроллер и говорит: "камеру вырубай нах! тута сьемка видиво запресчена!"
@freawertyhn, только увидел новость и в голове сразу этот паря с его "камеру вырубай нах!" :D
Камеру вырубай!
Здорово. И среди этих людей где-то есть Артур Морган, который не попал в кадр. Ведь это те же годы.
Народ,.. вы оригинал (который кстати неоднократно реставрирован) сравнивали с сабжем? Сабж -- мыло на лицах и подёргивание. Я вообще не понимаю цели таких действий как только привлечения внимания к технологиям.... Но это ведь Золото буквально -- мировое достояние. К нему относиться необходимо соответственно
@solarcoast, алтайский край негодуе?
@solarcoast, оригинал врят ли кто видел, но я уверен что оригинал намного лучшего качества чем все что было залито в сеть
@Voen, личинка что-то перепутала?
Нехай вот этo видeo переделает, меня оно прямо завораживает! :)
https://youtu.be/5r3lUmvSlZk
Сколько раз видел этот видос, но только сейчас обратил внимание на двух теток, которые лица закрыли марлями:)
Выглядит как видео с телефона...2010го года. Да, при первом показе прибытия поезда, люди испугались. Но и сегодня, надев очки виртуальной реальности, многие поездов пугаются и монстров :)
Даже с аудио? в что уже аудио записывали в тот момент ?а как-же немое кино, думаете оно появилось по приколу, я думал из-за технических ограничений.
Горизонтал ное движение объектов и камеры в 1896 году лучше и плавнее чем в 2020 в кинотеатре, где любое горизонтальное движение превращается в слайд шоу ! Даже в аватаре в аймакс в самом начале когда камера двигается в доль корабля на ыоне планеты, выглядит просто ужасно и сейчас ничего ьак и не изменилось !
Если посмотреть оригинал, то так себе "достижение" Про цвет вообще молчу. У нас же всего 21 век на дворе.
Как подумаешь, как далеко шагнула наука и техника за какие-то 150-200 лет удивительно =)) а ведь планете Земля миллионы и миллиарды лет... сложно представить каким мир будет через 150-200 лет
Народ, а кто прошаренный, сколько нужно ресурсов, чтобы допустим 1,5ч видео, ну скажем старой спортивной трансляции (чего то культового, 60-70-х), которая грубо говоря есть в VHSрипе, обработать таким образом? 4к тут не упало естественно, как и 60 кадров (неестественно выглядит), а вот 1080p и 30 кадров было бы неплохо. Я имею ввиду это супердорогой софт и плюс-минус адекватное железо средней паршивости геймера или там процы с десятками ядер или вообще суперкомпьютеры? Можно с помощью нейросети допустим обойти артефакты сжатия (квадратики низкого разрешения)?
Чушь! Вы видите чтобы в это время (1896 год), никто практически не обращает внимание на камеру.... Наверное скрытая, со спичечный коробок. Вообще-то, кино-это еще в диковенку.
@alegord, в чем чушь то ? Никто из них не знал, что такое камера и даже не слышал. Можно это просто геодезический прибор оптический (аналог теодолита)