Sony запатентовала аналог DLSS для PS5 и PS VR

Sony запатентовала аналог DLSS для PS5 и PS VR

В сети обнаружили, что Sony, похоже, работает над новой технологией, которая бы повышала разрешение исходного изображения в реальном времени на PS5 и следующем поколении PS VR. Проще говоря, выводить более четкое изображение без потери производительности.

В патенте, поданном Sony Interactive Entertainment, говорится, что технология на основе машинного обучения будет заполнять "пробелы" изображения, чтобы повышать его разрешения. Отдельно упоминается, что технология также будет работать с гарнитурой виртуальной реальности.

Конечно, на консолях не стоит ждать прямого аналога DLSS от Nvidia, так как у них нет тензорных ядер, как в видеокартах RTX. Но AMD, которая поставляет чипы для PlayStation и Xbox, уже доказала, что можно создать технологию реконструкции изображения и без тензорных ядер.

У AMD эта технология называется AMD FSR, которая работает хоть и хуже DLSS, но все равно впечатляет. Sony может работать как раз над прямым аналогом FSR. В первую очередь она может использоваться как раз для уже анонсированного PS VR следующего поколения.

Также стоит отметить, что внутренние студии компании хорошо научились работать с технологией реконструкции под названием шахматный рендеринг. Она используется, например, в God of War и Horizon Zero Dawn. Порой даже специалистам трудно определить, какое настоящее исходное разрешение. 

Видео от Shazoo

Подписаться

54 Комментария

  • Imlerith
    Комментарий скрыт. Показать

    DLSS
    выводить более четкое изображение без потери производительности.

    Ээээ.... Четкое изображение - это не про DLSS, да и вообще реконструкция - это глупость какая-то

    Разве что жрать это только если некуда больше деваться, ибо качество так себе

    -13
    • TrueMat
      Комментарий скрыт. Показать

      @Imlerith, ну под четкого понимается четче, чем исходное изображение. По другому же быть не может

      5
    • Veter_Peremen
      Комментарий скрыт. Показать

      @TrueMat, Реконструкция в 4К менее чёткое чем нативное и часто имеет шлейфы во время движения, даже с DLSS.

      3
    • Reym
      Комментарий скрыт. Показать

      @Veter_Peremen, ну консолям эти шлейфы не страшны, ибо на тв нет высоких фпсов чтобы увидеть эти шлейфы. Да и тв матрица ровно такие же шлейфы оставляет.

      0
    • TrueMat
      Комментарий скрыт. Показать

      @Veter_Peremen, ты про сравнение реконструкции в 4к по сравнению с нативными 4к? Там конечно. Но я про сравнение например 1440п в масштабирование 4к и просто 1440п

      1
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Reym, На ТВ давно нет шлейфов и они не от высокого фпс
      @TrueMat, Так надо точнее говорить)

      3
    • Комментарий скрыт. Показать

      @Imlerith, иди глянь обзор от DF в Control, где dlss выглядит лучше нативных 4к, причем DLSS от 1080p (!!!). Все в руках разрабов

      3
    • Reym
      Комментарий скрыт. Показать

      @Veter_Peremen, может и существуют какие-то "игровые" тв, но в основном у всех высокий инпут лаг.

      0
    • RogueTrooperRedux
      Комментарий скрыт. Показать

      @Imlerith, недавно было сравнение какой-то игры, где картинка с DLSS была четче чем без…

      1
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Reym, LG NANO75, дешёвый относительно ТВ и для примера LG C1.
      У игровых ТВ матрицы быстрее чем у игровых мониторов местами и это с постобработкой.

      Шлейф это низкое время отклика, а не задержка ввода

      3
    • Derbyshire
      Комментарий скрыт. Показать

      @FireMixRU, Это ты на fullHd монике увидел?

      0
    • Комментарий скрыт. Показать

      @Reym, сейчас производители телеков хотят привлечь геймеров и стараются уменьшать инпут-лаг. У основных игроков рынка сейчас вполне "игровые" телевизоры, они даже понимают что подключена приставка и автоматом ставят игровой режим.

      0
    • Комментарий скрыт. Показать

      @Derbyshire, причем тут я? Я же не эксперт, поэтому ссылаюсь на экспертов

      0
  • Lionthorn
    Комментарий скрыт. Показать

    Интересно, конечно, но как оно будет работать без тензорных ядер. Точнее насколько эффективно.

    1
    • Комментарий скрыт. Показать

      @Lionthorn, Потому что прочитай чуть дальше заголовка

      2
    • Veter_Peremen
      Комментарий скрыт. Показать

      @rudi4k, Для машинных вычислений нужна аппаратная поддержка расчёта сложных матриц, для этого и нужны «тензорные» ядра. Вопрос его правильный, как ?

      И новость старая, ранее там был описан алгоритм схожий с FSR, без векторов

      1
    • Maxhope
      Комментарий скрыт. Показать

      @Veter_Peremen, Xbox Series X поддерживает , на PS5 как раз и говорили что RDNA 1.5 с вырезанной как минимум поддержкой ускорения INT и тд

      0
    • Lionthorn
      Комментарий скрыт. Показать

      @Veter_Peremen, у меня сперва был немного другой комментарий. Я пропустил в новости строчку об использовании машинного обучения и возмутился, почему в заголовке указано аналог DLSS, а не FSR. Пока исправлял, на комментарий уже ответили.

      1
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Maxhope, Они могут встроить в VR гарнитуру аппаратный комплекс для реконструкции разрешения к примеру.
      @Lionthorn, Смысл не меняется моего

      3
    • Комментарий скрыт. Показать

      @Veter_Peremen, для вычислений машинного обучения достаточно gpu

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @rudi4k, Эмм, да если на нем есть поддержка сложных матриц, обычный GPU в реальном времени их не умеет считать, лишь как задачу с отложенным циклом. Как и с AVX инструкциями, выполнять их можно на чем угодно, но не в реальном времени.

      Для этого в RTX тензорные ядра, а у MS используется переработанные ALU которые умеют работать с MSFP матрицами в реальном времени, для Azure. В чипе PS5 нет поддержки такого, как и в RX 6000.

      2
    • Комментарий скрыт. Показать

      @Veter_Peremen, всю жизнь на gpu считали, а теперь уже нельзя, понимаю

      -1
    • Veter_Peremen
      Комментарий скрыт. Показать

      @rudi4k, Никогда в жизни, расчёты по матрицам GPU не умели параллельно выполнять с рендером картинки, либо одно, либо другое. «Тензорные» ядра дают возможность это делать параллельно, это не твоё воображение где все это возможно

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, Как по твоему на твоем айфончике яркость фотографии меняется ползунком в инстаграмме или фильтрики применяются?))) Ни в чем челик не шарит, но под каждой новостью людей учит, видно xbox фаната

      -2
    • Veter_Peremen
      Комментарий скрыт. Показать

      @rudi4k, Что ты несёшь ? Причём тут машинное обучение ? Ползунки в обработке фото ты думал с помощью нейросетей делают ? :D

      Отдельный процессор NPU значительно ускоряет работу таких ресурсоёмких задач как: дополненная реальность (поддерживаемая фреймворком Apple ARKit), машинное обучение и построение нейронных сетей (поддерживаемые фреймворком Apple Core ML).

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, Перепрочитай свое предыдущее сообщение, а то возможно с памятью проблемы "расчёты по матрицам GPU не умели параллельно выполнять с рендером картинки". DLSS это и есть расчеты по матрицам, любое изменение картинки это и есть расчет по матрицам, потому что картинка и есть матрица (таблица пикселей). Нейросеть sony и не собирается тренировать на ps5, а лишь обработка картинки.

      ARKit прекрасно работает и на айфонах без npu, потому что он появился ток в iPhone X, и сильно до внедрения в процы на супер слабых gpu в 60 fps ты мог изменять свою фоточку из ванной.

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @rudi4k, Они не умели и не умеют 512 битные матрицы расчитывать параллельно в реальном времени, для чего по твоему нужны тензорные ядра умник ?

      Нейросеть сервер создаёт матрицу, расчёт матрицы происходит на устройстве силами отдельных NPU/ALU, которые не участвуют в работе

      И не надо передёргивать, речь шла не про примитивные dot

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, Я дальше спорить не буду, видно тут бессмысленно, чисто последний вопрос, а почему ты так часто в том чем не разбираешься и где знания заканчиваются у тебя на маркетинговом лозунге пытаешься прям спорить. А то я прост работал и с ARKit, и core ML, в универе еще нейронки гонял на 6970, фрилансил для одной компании по обработке фотографий.
      PS что такое вообще 512 битная матрица?)))000

      -2
    • Veter_Peremen
      Комментарий скрыт. Показать

      @rudi4k, Как пошли вопросы по существу слился с типичными отмазками, я изучал…
      Размер матрицы, ну так запусти рендер видео на GPU и сделай в этот же момент расчёт матрицы…фанатики Сони мозг выключают во время чтения.

      Тензорные ядра то оказывается не нужны для реконструкции в реальном времени и все работает на примитивных малых матрицах, точнее не работает, но в голове одного умника все работает параллельно, ведь он dot матрицы отдельным циклом считал в простое GPU :D

      0
    • Комментарий скрыт. Показать

      @Maxhope, ни ps5 ни xbox series x не имеют аппаратного ускорения машинного обучения

      0
    • Maxhope
      Комментарий скрыт. Показать

      @Jpd, да что ты ?
      https://dtf.ru/u/193155-big-byte-wolf/191522-mashinnoe-obuchenie-i-virtualizaciya-v-arhitekture-xbox-series-x?comment=6425243

      0
    • Комментарий скрыт. Показать

      @Maxhope, https://dtf.ru/hard/847266-nu-poehali-perezaliv-nedavney-stati-o-tehnicheskoy-chasti-soc-ps5-i-xsx-s-s-normalnym-oformleniem-i-kommentariyami

      0
    • Maxhope
      Комментарий скрыт. Показать

      @Jpd, при этом Майкрософт официально заявляет про ускорение машинного обучения , даже говорит о конкретной цифре в 96TOPS...
      Говорит про это на презентации Hot Chip , показывает слайд и для чего планируют применять эту возможность.

      0
    • Комментарий скрыт. Показать

      @Maxhope, можно ссылку?

      0
    • Maxhope
      Комментарий скрыт. Показать

      @Jpd,
      Xbox Series X and Xbox Series S support Machine Learning for games with DirectML, a component of DirectX. ... According to RedGamingTech, both the Series X and Series S support 4- and 8-bit operations for inference machine learning. There's two parts to AI-based machine learning: training and inference.3
      Xbox Series X benefiting from over 24 TFLOPS of 16-bit float performance and over 97 TOPS (trillion operations per second) of 4-bit integer performance on Xbox Series X. Machine Learning can improve a wide range of areas, such as making NPCs much smarter, providing vastly more lifelike animation, and greatly improving visual quality.

      0
    • Комментарий скрыт. Показать

      @Maxhope, помню digital foundry писали это:Machine learning is a feature we've discussed in the past, most notably with Nvidia's Turing architecture and the firm's DLSS AI upscaling. The RDNA 2 architecture used in Series X does not have tensor core equivalents, but Microsoft and AMD have come up with a novel, efficient solution based on the standard shader cores. With over 12 teraflops of FP32 compute, RDNA 2 also allows for double that with FP16 (yes, rapid-packed math is back). However, machine learning workloads often use much lower precision than that, so the RDNA 2 shaders were adapted still further.

      "We knew that many inference algorithms need only 8-bit and 4-bit integer positions for weights and the math operations involving those weights comprise the bulk of the performance overhead for those algorithms," says Andrew Goossen. "So we added special hardware support for this specific scenario. The result is that Series X offers 49 TOPS for 8-bit integer operations and 97 TOPS for 4-bit integer operations. Note that the weights are integers, so those are TOPS and not TFLOPs. The net result is that Series X offers unparalleled intelligence for machine learning

      0
    • Maxhope
      Комментарий скрыт. Показать

      @Jpd, ну так а я о чем? Xbox Series X поддерживает ускорение INT 4 и 8 , тогда как PS5 не поддерживает... Да у него нет Тензорных ядер или подобного, но на уровне шейдеров они добавили такую возможность.

      0
    • Комментарий скрыт. Показать

      @Maxhope, благодаря int 4 /8 на обычных шейдерных ядрах можно имитировать работу тензорных, но это будет съедать больше производительности, так что xbox series x наверное будет в машинном обучении почти как rtx 2060 или слабее, а насчёт поддержки операций int 4/8 на ps5 непонятно пока. Amd Vega и rdna 1 и 2 имеют поддержку, так что не вижу причин по которым на ps5 это могли отключить, но в будущем станет ясно.

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Jpd, Бокс поддерживает MSFP матрицы, он является серверной платформой для Azure и поддерживает полный набор стандартов DirectML, не только игровых. Матрицы не на шейдерах рассчитывают, а на ALU/FPU которые находятся в GPU.

      В боксе стоит полноценный серверный APU, он умеет считать сложные матрицы и его ALU под это и спроектированы.

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, https://dtf.ru/hard/847266-nu-poehali-perezaliv-nedavney-stati-o-tehnicheskoy-chasti-soc-ps5-i-xsx-s-s-normalnym-oformleniem-i-kommentariyami?comments=all&from_comment=12434121,12432421,12432361,12432171,12431761,12427259 . и можно ссылку откуда информация о том что в xbox есть северный apu, если информация из твиттера bluesviolet или astal то они так себе источник информации они утверждали что xbox series x в трассировке превосходит rtx 2080 ti в 4 раза, а ps5 слабее xbox series s что далеко не так оказалось .

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Jpd,

      Xbox Cloud Gaming (xCloud) теперь работает на мощностях Xbox Series X

      Он в прямом смысле стоит в блейд серверах Azure.

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, там раньше стоял xbox one s, в digital foundry помню это говорили: То что процессор классифицируется как серверный, не значит, что это аналог серверного железа. Скорее всего речь идет о мерах защиты и поддержке памяти для интеграции с облачными серверами Azure
      Важность поддержки облачных серверов нельзя недооценивать — чип сможет запускать и стримить игры нового поколения, а также запускать четыре виртуальные системы Xbox One S одновременно.

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Jpd, MSFP поддержка обязательна и исправление ошибок памяти. Просто бокс использует математические сопроцессоры из архитектуры CDNA от AMD. По этому его работа как серверного ускорителя более эффективная, вот как раз вириуалмщация строиться частично на машинном обучении в серверах Azure.

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, есть ссылка с подробностями? Насколько я знаю у xbox series x/s только операции int 4 /8, нужен именно источник информации об этом

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Jpd, Эта презентация была год назад, я ее уже не найду.
      Максимум вот вакансия непосредственно для ML и поддержка на Xbox, по вакансии.

      Год назад была техническая презентация и разбор Series X, что там стоит x86/ARM чип, если наткнусь то скину.

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, https://mobile.twitter.com/Locuza_/status/1431679542918356993 этот Twitter аккаунт занимается разбором gpu и cpu он говорит что консоли сильно похожи между собой, ps5 и вправду не поддерживает vrs на аппаратом уровне, процессоры у них в основном одинаковые но в ps5 уменьшили fpu это математика с плавающей запятой не влияет на игры вроде как, и он не уверен насчёт инструкций dp4a на ps5 полезных для ввода и вывода машинного обучения, нужны более чёткие снимки чипов консолей и нужны снимки чипов rdna 2 пока есть только rdna 1 и он сравнивает с ними

      0
    • Veter_Peremen
      Комментарий скрыт. Показать

      @Jpd, Просвет чипа не даст инфу о типе сопроцессоров

      0
    • Комментарий скрыт. Показать

      @Veter_Peremen, вот эта презентация https://www.tomshardware.com/news/microsoft-xbox-series-x-architecture-deep-dive?ref=dtf.ru На слайдах упоминается ускорение машинного обучения и отмечается "ускорение вывода ML" в 3-10 раз при небольших затратах на площадь матрицы, но это может быть с помощью вычислений FP16 или INT4/8, выполняемых на кластерах CU. Когда выйдут аналоги dlss от Intel, Microsoft и Sony тогда будут разъяснения а пока можно только думать как это реализуют.

      0
  • Комментарий скрыт. Показать

    Там и так одно мыло, еще и DLSS будет замыливать что не замылено)

    -6
  • Napalm39
    Комментарий скрыт. Показать

    Кстати в новой колде есть поддержка филелити фх на консолях)

    1
  • ParagonFeed
    Комментарий скрыт. Показать

    Главное чтобы проводов не было

    1
Войдите на сайт чтобы оставлять комментарии.