Нейросеть улучшила видео 1896 года до 4K-разрешения — выглядит, как современный ролик на смартфон

Нейросеть улучшила видео 1896 года до 4K-разрешения — выглядит, как современный ролик на смартфон

Существует множество веских доводов, почему техники машинного обучения могут представлять опасность — от манипуляции видео, до создания дипфейков, неотличимых от реальности. Как продемонстрировал Денис Ширяев на своем ютуб-канале, ИИ-инструменты могут приносить большую пользу. В недавно опубликованном ролике он показал, как глубокое машинное обучение позволило поднять качество и частоту небольшого черно-белого ролика 1896 года до 4K и 60 fps.

Это видео снял Луи Люмьер — один из знаменитых братьев Люмьер. Прибытие поезда занимает всего 45 секунд — это тот самый ролик, о котором легенды говорят, что первые его зрители в ужасе убегали из театра во время показа. Имела ли короткометражка такой эффект в реальности, не имеет значения, потому что сейчас мы можем взглянуть на запись в качестве, о котором даже не мечтали мастера движущихся изображений на рубеже 19 и 20 веков.

Для поднятия разрешения до 4K и частоты до 60 fps использовалось два алгоритма:

  • Gigapixel AI отвечает за масштабирование
  • DAIN отвечает за частоту кадров

В итоге создается ощущение, что видео могло быть снято на современный смартфон. В каком-то смысле даже жутковато осознавать реалистичность происходящего. Только подумайте — это 1896 год! 

Оригинальное видео можно посмотреть тут.

41 Комментарий

  • SERG__ZV
    Комментарий скрыт. Показать

    Круто..........

    17
  • Alexos
    Комментарий скрыт. Показать

    "На современный смартфон" звучит притянуто, но всё равно, это круто. Всё-таки позапрошлый век.
    Помню читал, что люди в первом кинотеатре в мире, когда им показали "Прибытие поезда" начали выбегать из зала с криками боясь попасть под поезд. Вот сколько времени прошло.

    7
  • needStr0yent
    Комментарий скрыт. Показать

    Постоянно юзаю гигапиксель по работе. И прочие топазовские утилиты тоже. Там что-то заапскейлить ума не надо никакого, а сама прога со слов намного умнее, чем на самом деле. Но софт полезный тем не менее.

    7
    • VirgoFox
      Комментарий скрыт. Показать

      @needStr0yent, подтверждаю

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @needStr0yent, а для чего используешь?

      0
    • needStr0yent
      Комментарий скрыт. Показать

      @Cohen, ну для этого например https://i.imgur.com/kpkfcr4.jpg )) (там если что оригинал на лбу)
      А так в основном с текстурами для 3д. Для текстур вещь реально очень полезная.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @needStr0yent, а, ну по студи для апскейла статики, подумал для видео :)

      0
    • needStr0yent
      Комментарий скрыт. Показать

      @Cohen, ну принцип тот же самый, просто времени займёт очень уж много. Да и в индустрии пока что очень ценят настоящее 4к, а подобные софтины, увы, не могут пока что обеспечить качество, которому можно поверить.

      0
    • Комментарий скрыт. Показать

      @needStr0yent, я недавно по работе апскейлил игровой ролик с 1080 до 4к (там были причины не рендерить настоящие 4к). Но для теста я сравнивал настоящие 4к и апскейленые через гигапиксель - я разницы не видел, мне местами даже казалось, что апскейлейные немного четче)
      А по времени да, у меня на 1 фрейм около 10 сек уходило. Причем разницы между процем (i9 9900k) и gtx1070 я не заметил. Правда с секундомером не сидел не сравнивал, но по ощущениям одинаково.

      1
    • needStr0yent
      Комментарий скрыт. Показать

      @fofun, видимо повезло тебе) потому что в 90% случаев 2 кадра идущие друг за другом не идентично апскейлятся, если есть движение камеры и при просмотре в 4к это хорошо видно. Ты кстати смотрел видос на fullhd монике или именно в 4к? Потому что в fullhd можно и не заметить. Ну и апскейл игрового ролика ты мог запросто сравнивать с другим апскейлом, а не с нативным 4к) Или в конце концов с видосом на ютубчике, который 4к ужимает очень даже. Я говорю про чистый рендер. Если ты апскейлнутый видос скинешь какому-нибудь заказчику с мозгами - то они быстро на место поставят)

      0
    • Комментарий скрыт. Показать

      @needStr0yent, я апскейлил рендер с игрового движка (SFM). Смотрел на 1080 монике со 100% увеличением, не заметил каких-то багов.
      Сравнивал потом апскейл и нативный рендер 4к. Вообще там стилизованная графика (дота2), мб поэтому я не заметил каких-то проблем. Заказчик работу принял)

      0
    • needStr0yent
      Комментарий скрыт. Показать

      @fofun, ну со стилизованной графикой из сфм кстати он норм должен работать, да. Как и с 2д моушн графикой или с мультиками. Так что да, вполне, верю)

      0
  • _TwistedMetal_
    Комментарий скрыт. Показать

    Почему я вспомнил видео "Камеру вырубай Н###Й "

    5
  • Sinkler
    Комментарий скрыт. Показать

    А вначале ютуб не хотел пускать видео, но видно мозги вправили кому надо.

    0
  • HikkiHaker
    Комментарий скрыт. Показать

    На удивление смотрится очень живенько)

    0
  • NightSky
    Комментарий скрыт. Показать

    Трассировка лучей на вагонах - впечатляет!

    8
  • TheILLUSIONIST
    Комментарий скрыт. Показать

    Круто, видос Ширяева с дтф))

    1
  • Runuchok
    Комментарий скрыт. Показать

    На самом деле - главная фича это 60фпс. Прям из-за этой плавности +1000 к реализму происходящего. Очень круто! По-другому на хронику дает посмотреть!

    7
  • Lionthorn
    Комментарий скрыт. Показать

    Что видео стало плавным и стабилизированным, это круто и сильно влияет на восприятие. Но шумодав, как по мне, несколько излишний и много мелких деталей потерялось.

    0
  • Normal
    Комментарий скрыт. Показать

    Жаль только что нет видео 17 века, 15, 7, 2, 3 тысячелетия до нашей эры)

    3
  • jarDOS
    Комментарий скрыт. Показать

    Они все как живые!)))

    0
  • MOZR
    Комментарий скрыт. Показать

    Действительно впечатляет!

    0
  • Rover
    Комментарий скрыт. Показать

    Видео не плохое, но вот если бы оно дополнялось - было бы интереснее.

    0
  • freawertyhn
    Комментарий скрыт. Показать

    и тут подходит контроллер и говорит: "камеру вырубай нах! тута сьемка видиво запресчена!"

    2
  • Комментарий скрыт. Показать

    Здорово. И среди этих людей где-то есть Артур Морган, который не попал в кадр. Ведь это те же годы.

    1
  • solarcoast
    Комментарий скрыт. Показать

    Народ,.. вы оригинал (который кстати неоднократно реставрирован) сравнивали с сабжем? Сабж -- мыло на лицах и подёргивание. Я вообще не понимаю цели таких действий как только привлечения внимания к технологиям.... Но это ведь Золото буквально -- мировое достояние. К нему относиться необходимо соответственно

    0
  • Vik
    Комментарий скрыт. Показать

    Нехай вот этo видeo переделает, меня оно прямо завораживает! :)
    https://youtu.be/5r3lUmvSlZk

    0
  • Wotan
    Комментарий скрыт. Показать

    Сколько раз видел этот видос, но только сейчас обратил внимание на двух теток, которые лица закрыли марлями:)

    0
  • Kizil
    Комментарий скрыт. Показать

    Выглядит как видео с телефона...2010го года. Да, при первом показе прибытия поезда, люди испугались. Но и сегодня, надев очки виртуальной реальности, многие поездов пугаются и монстров :)

    0
  • Shazec
    Комментарий скрыт. Показать

    Даже с аудио? в что уже аудио записывали в тот момент ?а как-же немое кино, думаете оно появилось по приколу, я думал из-за технических ограничений.

    0
  • Комментарий скрыт. Показать

    Горизонтал ное движение объектов и камеры в 1896 году лучше и плавнее чем в 2020 в кинотеатре, где любое горизонтальное движение превращается в слайд шоу ! Даже в аватаре в аймакс в самом начале когда камера двигается в доль корабля на ыоне планеты, выглядит просто ужасно и сейчас ничего ьак и не изменилось !

    1
  • wolik
    Комментарий скрыт. Показать

    Если посмотреть оригинал, то так себе "достижение" Про цвет вообще молчу. У нас же всего 21 век на дворе.

    0
  • Mdaos
    Комментарий скрыт. Показать

    Как подумаешь, как далеко шагнула наука и техника за какие-то 150-200 лет удивительно =)) а ведь планете Земля миллионы и миллиарды лет... сложно представить каким мир будет через 150-200 лет

    0
  • Комментарий скрыт. Показать

    Народ, а кто прошаренный, сколько нужно ресурсов, чтобы допустим 1,5ч видео, ну скажем старой спортивной трансляции (чего то культового, 60-70-х), которая грубо говоря есть в VHSрипе, обработать таким образом? 4к тут не упало естественно, как и 60 кадров (неестественно выглядит), а вот 1080p и 30 кадров было бы неплохо. Я имею ввиду это супердорогой софт и плюс-минус адекватное железо средней паршивости геймера или там процы с десятками ядер или вообще суперкомпьютеры? Можно с помощью нейросети допустим обойти артефакты сжатия (квадратики низкого разрешения)?

    0
  • Комментарий скрыт. Показать

    Чушь! Вы видите чтобы в это время (1896 год), никто практически не обращает внимание на камеру.... Наверное скрытая, со спичечный коробок. Вообще-то, кино-это еще в диковенку.

    0
    • Комментарий скрыт. Показать

      @alegord, в чем чушь то ? Никто из них не знал, что такое камера и даже не слышал. Можно это просто геодезический прибор оптический (аналог теодолита)

      0
Войдите на сайт чтобы оставлять комментарии.