Nvidia хочет улучшить качество видеозвонков с помощью нейросетей

Nvidia хочет улучшить качество видеозвонков с помощью нейросетей

Большая часть людей так или иначе пользовалась видеозвонками. Одна из проблем, связанных с ними, заключается в отвратительным качестве картинки, которая иногда превращается в пиксельное слайдшоу. К счастью, Nvidia скоро постарается это исправить.

Компания выпустила ролик, в котором показала, как будет улучшенно качество картинки с помощью нейросетей.



Nvidia называет это решение AI video compression. Вместо того чтобы отправлять поток видео через интернет со скоростью 15 или 30 кадров в секунду, оно отправляет только меньшее количество кадров из определенных временных интервалов. Система анализирует, извлекает и делится данными о положении и движении определенных точек на лице субъекта, а затем передает их получателю.

На приемном конце нейронная сеть, работающая на мощной видеокарте, использует эти точечные данные для генерации дополнительных кадров между ключевыми кадрами, что приводит к полноэкранному видео с плавным воспроизведением и без каких-либо пиксельных артефактов видеозвонков.

Мало того, что результаты на стороне приемника выглядят лучше, исследователи Nvidia подсчитали, что передача потребует меньше скорости интернета.

К сожалению, пока неизвестно, когда технология будет использована.

11 Комментариев

  • velvet
    Комментарий скрыт. Показать

    И доступно будет только на 3000-й серии в отдельной звонилке от нвидиа

    3
    • thanatos_inf
      Комментарий скрыт. Показать

      @velvet, да даже если. Это хороший шаг в правильном направлении.

      7
    • Комментарий скрыт. Показать

      @velvet, они все свои фишки привязывают к тензорным ядрам. Так что скорее всего и на 20 тоже. Тем более,что по сравнению с обсчетом графона в современных игрушках задача не кажется такой уж сложной

      0
  • Egrassa
    Комментарий скрыт. Показать

    Dlss для видеозвонков?)

    2
  • Fortuna
    Комментарий скрыт. Показать

    Хотите найти карточку 30 серии из под полы? Звоните Солу.

    0
  • Комментарий скрыт. Показать

    нуда, нуда, халявный месенгер, вебка за 10 у.е. и 3080 мастхев, не? Может для начала нормальную вебку и не мусорный интернет? Не туда идут зеленые, ох не туда, ИМХО, беспроводная автоносная камера со встроенным АРМпроцыком, вафляй, 5Ж, всякие фейайди с активным улучшением, аудио-видео, корректировкой фона значительно интереснее будет, а такая хренетень только для стримеров и мамкиных геймеров прокатит

    0
  • Jesset
    Комментарий скрыт. Показать

    Это конечно круто, но на ПК нахрен не нужно. Я только сегодня задумался о другом, как бы идеально шли 1080p фильмы в 8к и 60фпс с помощью нейросети джифорса, вот тут бы я аплодировал стоя.

    0
    • Комментарий скрыт. Показать

      @Jesset, это в России не особо нужно. У нас с доступностью широкополосного интернета все отлично. А вот у англичан и американцев ADSL ещё жив. Смысл телефонной компании париться, если линии ещё 30 лет назад проложены и продолжают приносить прибыль?

      0
  • Комментарий скрыт. Показать

    Крипово выглядит, если всмотреться. Элементы лица типа глаз или бровей иногда плывут позиционно, заметно, что это cg

    0
Войдите на сайт чтобы оставлять комментарии.