Nvidia хочет улучшить качество видеозвонков с помощью нейросетей

Большая часть людей так или иначе пользовалась видеозвонками. Одна из проблем, связанных с ними, заключается в отвратительным качестве картинки, которая иногда превращается в пиксельное слайдшоу. К счастью, Nvidia скоро постарается это исправить.

Компания выпустила ролик, в котором показала, как будет улучшенно качество картинки с помощью нейросетей.



Nvidia называет это решение AI video compression. Вместо того чтобы отправлять поток видео через интернет со скоростью 15 или 30 кадров в секунду, оно отправляет только меньшее количество кадров из определенных временных интервалов. Система анализирует, извлекает и делится данными о положении и движении определенных точек на лице субъекта, а затем передает их получателю.

На приемном конце нейронная сеть, работающая на мощной видеокарте, использует эти точечные данные для генерации дополнительных кадров между ключевыми кадрами, что приводит к полноэкранному видео с плавным воспроизведением и без каких-либо пиксельных артефактов видеозвонков.

Мало того, что результаты на стороне приемника выглядят лучше, исследователи Nvidia подсчитали, что передача потребует меньше скорости интернета.

К сожалению, пока неизвестно, когда технология будет использована.

Больше статей на Shazoo
Тэги:
Источники:

11 комментария

И доступно будет только на 3000-й серии в отдельной звонилке от нвидиа

3

@velvet, да даже если. Это хороший шаг в правильном направлении.

7

@velvet, они все свои фишки привязывают к тензорным ядрам. Так что скорее всего и на 20 тоже. Тем более,что по сравнению с обсчетом графона в современных игрушках задача не кажется такой уж сложной

0

Dlss для видеозвонков?)

2

Хотите найти карточку 30 серии из под полы? Звоните Солу.

0

нуда, нуда, халявный месенгер, вебка за 10 у.е. и 3080 мастхев, не? Может для начала нормальную вебку и не мусорный интернет? Не туда идут зеленые, ох не туда, ИМХО, беспроводная автоносная камера со встроенным АРМпроцыком, вафляй, 5Ж, всякие фейайди с активным улучшением, аудио-видео, корректировкой фона значительно интереснее будет, а такая хренетень только для стримеров и мамкиных геймеров прокатит

0

@nononame, типичный диванный эксперт :)

0

@Vinni, а тут есть другие:) эксперты по машинному обучению здесь явно не тусуются...

0

Это конечно круто, но на ПК нахрен не нужно. Я только сегодня задумался о другом, как бы идеально шли 1080p фильмы в 8к и 60фпс с помощью нейросети джифорса, вот тут бы я аплодировал стоя.

0

@Jesset, это в России не особо нужно. У нас с доступностью широкополосного интернета все отлично. А вот у англичан и американцев ADSL ещё жив. Смысл телефонной компании париться, если линии ещё 30 лет назад проложены и продолжают приносить прибыль?

0

Крипово выглядит, если всмотреться. Элементы лица типа глаз или бровей иногда плывут позиционно, заметно, что это cg

0
Войдите на сайт чтобы оставлять комментарии.