Sony запатентовала аналог Nvidia DLSS для апскейлинга в играх

Sony запатентовала аналог Nvidia DLSS для апскейлинга в играх

Реддитор zerobfchallange обнаружил новый патент Sony, который описывает работу технологии для PS5, схожую с Nvidia DLSS. В документах сказано, что система представляет собой нейросеть, которая изучает множество изображений с разным разрешением и на основе полученного опыта увеличивает размер конечного кадра.

Устройство обработки информации для получения множества эталонных изображений, полученных путем визуализации объекта, который должен быть воспроизведен. Для получения множества преобразованных изображений, полученных путем увеличения или уменьшения каждого из множества эталонных изображений.

Для выполнения машинного обучения на основании множества изображений, подлежащих изучению, которые включают в себя множество преобразованных изображений. Для генерирования предварительно обработанных данных, которые используются для генерирования воспроизводимого изображения, представляющего внешний вид объекта.

Описание технологии не поддается простому объяснению, но работа DLSS от Nvidia напоминает то, что сформулировано в патенте. Система генерирует несколько изображений, запоминает результаты и производит кадры в заданном разрешении.

Что такое Nvidia DLSS и почему технология значительно повышает частоту в играх
Вчера Nvidia опубликовала собственные тесты новой линейки ви... Далее

Вероятно, Sony хочет избавиться от "шахматного" рендеринга, который используется в PS4 Pro. Данная технология создает видимые артефакты и требует производить изначальные кадры в 50% от итогового разрешения.

Специалисты Digital Foundry рассказали про технологию Nvidia — как работает DLSS 2.0 на примере Control можно посмотреть здесь.

Видео от Shazoo

Подписаться

48 Комментариев

  • Maxhope
    Комментарий скрыт. Показать

    Для консолей это идеальная технология.
    У ДФ вчера сравнение как раз вышло , шахматного с ДЛСС, полный разрыв первого... Так что Сони может ещё на этапе разработки натренировать нейросеть , а то с Нвидиа , оно работать через несколько патчей обычно нормас начинает.
    Думаю у Майкрософт должна быть такая я же фишка , а с ней Series S с 4терафлопсами даж в 4к достойную картинку будет показывать, а Series X в 8к

    6
    • Комментарий скрыт. Показать

      @Maxhope, у хуанга для этого есть тензорные ядра. Аппаратная реализация всегда будет быстрее и качественнее софтовой

      6
    • PunkRoy
      Комментарий скрыт. Показать

      @accn, И компания кожаной куртки одна из самых передовых в области ИИ , если вообще не топ 1 на планете.

      1
    • Maxhope
      Комментарий скрыт. Показать

      @accn, Верно, производительность Xbox Series X 97tops , что меньше rtx2060

      0
    • Комментарий скрыт. Показать

      @PunkRoy, и даже им понадобилось больше 2 лет, чтобы заставить DLSS работать как задумано.

      0
    • Noivellet
      Комментарий скрыт. Показать

      @Maxhope, Полный разрыв? Ты видимо упустил там фразу, что ДЛСС жрет нормально ресурсов.
      И это проблема. Всегда будет стоять выбор, побольше эффектиков и частиц, или фпсика. А если можно и то и то, но чутка размытые мелкие детали, то многие выберут второе.

      1
    • Maxhope
      Комментарий скрыт. Показать

      @Noivellet, ресурсов жрет ? Оно наоборот бустит ФПС относительно нативного разрешение просто нереально... Представь что у тебя на выходе 4к , а рендер жрет как будто 1440р , что ещё нужно для счастья? Никакая другая технология не сравниться по качество/производительность

      11
    • Noivellet
      Комментарий скрыт. Показать

      @Maxhope, а теперь представь, что ты играешь на 4к, и подумай дальше сам.

      -2
    • Maxhope
      Комментарий скрыт. Показать

      @Noivellet Hy, я тебя не понимаю... На 4к если играть , то рендер может быть 1080р или 1440р с дальнейшим преобразованием в 4к , картинка на выходе с 1440р практически неотличима от нативных 4к , с 1080р чуть хуже , но ФПС у тебя как будто 1080 и 1440, а не 4к... Что тут не понятного?

      9
    • Noivellet
      Комментарий скрыт. Показать

      @Maxhope, зачем тебе рендерить 1080 и преобразовать его в 4к, если это в любом случае потеря качества? В данном примере используется лишь сглаживание на основе выборки кадров натренированным АИ, типа того. И есть более хорошие методы для этого.
      А при игре в 1080п на начального уровня игровых видюхах уже не всегда результаты такие положительные.
      На самом деле, я не спал больше суток и читал про DLSS на выходе, так что могу что-то упускать, да и смотрю там в DS уже DLSS 2.0 работает, хз че там, так что закроем тему.
      Просто не согласен что технология идеальная для консолей. Тут нужен упор в игровых движках на эти моменты, как он в UE5 показывали их фишку с прорисовкой полигонов на каждый пиксель монитора. Вот это для консолей как раз получше будет.

      0
    • Maxhope
      Комментарий скрыт. Показать

      @Noivellet, затем что в этом и фишка DLSS , оно реконструирует кадр из более низкого разрешения с помощью машинного обучения и нейросети... Я удивлен что кто то пишет подобное , давно бы загуглил как оно работает и почему это идеальная технология для консоли... В худшем случае , оно лишь слегка замылит картинку , чего на телевизоре особо не заметно будет, зато затраченная мощность на отрисовку будет как 1080р или 1440р , при том что на экране будет 4к близкое к нативному, остальное как раз лучше пустить на графоний.

      8
    • Noivellet
      Комментарий скрыт. Показать

      @Maxhope,
      DLSS использует физические тензорные ядра.
      На консолях такого нет.
      Даже когда будет, это все еще денюжка, которая могла пойти на то, что бы просто мощнее ГПУ сделать, или больше лучей добавить.
      Посмотри, упомянутый тобой же видос дижитал фаундри. Они удивлены технологией, но, говорят что в ДС на пк она требует вычислительных мощностей больше чем есть в ПС4 вообще у видеокарты. Лол? Какая крутая технология для консолей, которые всегда сосут в чистой вычислительной мощи.
      Таймкод с 4.20 на видосе.

      1
    • Комментарий скрыт. Показать

      @Maxhope, человек просто не понимает как работает DLSS, он думает что она берет нативное разрешение и с помощью нейросетей добавляет к нему supersampling, улучшая качество картинки и снижая производительность
      @Noivellet, DLSS превращает исходную 1440р картинку в 4k, при этом производительность намного выше чем в нативном 4к, а качество картинки соизмеримое, вот как это работает. Она достраивает картинку ДО того разрешения, которое выбрано, а не выше

      5
    • Maxhope
      Комментарий скрыт. Показать

      @Noivellet, причем тут PS4? архитектура RDNA2 поддерживает аппаратное ускорение машинного обучения, конечно будет медленнее выделенных тензорных ядер , но и технологию можно использовать не так интенсивно... В любом случае , если судить по результатам что даёт DLSS 2.0 - это будущие.

      2
    • Noivellet
      Комментарий скрыт. Показать

      @accn, ты это себе придумал? я прекрасно знаю как работает эта технология. Писал выше я лишь о том, что если у тебя пк тянет 4к нативные, то DLSS уже будет выбором между качеством (нативные 4к) и фпс (рендер в 1440 и апскейл до 4к).
      @Maxhope, "конечно будет медленнее выделенных тензорных ядер , но и технологию можно использовать не так интенсивно"
      Часть ГПУ отдать под буст разрешения и сглаживания вместо красивой графики? Ну, твой выбор.
      Алсо "Series S с 4терафлопсами даж в 4к достойную картинку будет показывать" не увидел сразу, кекв просто.

      0
    • Maxhope
      Комментарий скрыт. Показать

      @Noivellet, аппаратное ускорение , не не слышал... Даже если будет какой-то процент потери производительности растеризации , то возросшая производительность это легко компенсирует , а разницу между нативным 4к и DLSS 2 нужно искать с лупой на зуме 200-400% , если на консолях будет даже чуть хуже , все равно это лучше чем нативные 4к без графона и 30фпс.

      2
    • Комментарий скрыт. Показать

      @Noivellet, с вами спорить как со стенкой, всего хорошего

      2
    • MAX207
      Комментарий скрыт. Показать

      @Noivellet, Обычные универсальные ядра не могут работать на замену тензорных...тензорные ядра имитирую работу «нейронов мозга», причины и связи которые заранее производит вычисления сервер и даёт профили с вариацией переменных которые тензорные строят.

      Без таких ядер невозможно создать среду для работы нейросети с изображением.

      Тензорные ядра не вычисляют ничего, их заменить в GPU нечем.

      4
    • MAX207
      Комментарий скрыт. Показать

      @Maxhope, Ты походу сам не понимаешь о чём говоришь, тензорные ядра не про вычисления, они про выдачу миллардов вариаций и отсев на основе профиля нейросети.
      Что ты всё пристал к этим фейковым 97 tops в INT4, это вариация работы с числами...в этом любой GPU силён, меньше битность, больше скорость вычислений.

      Тензорные ядра в INT4/INT8/FP16/FP32, по матрице заранее спроектированной с неизвестными...создают милларды вариаций правильного выполнения заполнения матрицы, это даже не вычисления, это подбор по профилю нейросети. Тензорные ядра не пытаются вычислять, это долго, они подбирают правильные вариации за счёт профиля который даёт им сервер который и производит расчёты, проектируя "нейронные соединения", что бы тензорные ядра "ага я знаю как это решить и воспроизводит результат всё лучше и лучше по качеству...по этому качество изначально всегда плохое, матрицу заполняет не правильно.
      А на серверах:

      Ещё одна область, в которой любят применять тензоры — это машинное обучение, особенно её подраздел «глубокое обучение». Его смысл сводится к обработке огромных наборов данных в гигантских массивах, называемых нейронными сетями. Соединениям между различными значениями данных задаётся определённый вес — число, выражающее важность конкретного соединения.
      Поэтому когда нам нужно разобраться, как взаимодействуют все эти сотни, если не тысячи соединений, нужно умножить каждый элемент данных в сети на все возможные веса соединений. Другими словами, перемножить две матрицы, а это классическая тензорная математика!

      Надеюсь понял ?

      2
    • Noivellet
      Комментарий скрыт. Показать

      @MAX207, как нечем, большим чипом гпу)

      0
    • MAX207
      Комментарий скрыт. Показать

      @Noivellet, Да зачем чипом, магией как у Apple )

      0
  • Princesod
    Комментарий скрыт. Показать

    ну если как Нвидиии то здорово

    3
  • Serj777
    Комментарий скрыт. Показать

    Почти,как у Nvidia,с почти трассировкой.)

    0
  • BountyHunter
    Комментарий скрыт. Показать

    Данная технология создает видимые артефакты и требует производить изначальные кадры в 50% от итогового разрешения.

    Как это так, сонидети же писали, что шахматный рендеринг неотличим от реального 4к. удивительно.

    З.Ы. а по сабджу. Нужно же иметь ядра для этого (как у Нвидии). У МС заявлена поддержка Direct ML на уровне железа (на блоках для рейтрейсинга).
    У Сони же с этим до сих пор нету четкой информации - есть ли у них отдельные блоки для рейтрейсинга или нет. молчат, как партизаны.

    2
  • Комментарий скрыт. Показать

    DLSS - это костыль, как и технология, которую патентует Сони - точно такой же костыль, привязанный только к одной системе и к одним условиям (им не привыкать).
    Будущее не за ДЛСС, будущее - за открытым софтварным аналогом этой технологии, не требующим аппаратных мощностей, таким как, например, FidelityFX Contrast Adaptive Sharpening. Еще будущее за открытым, кроссплатформенным Machine Learning интерфейсом DirectML. Вот только ничего этого нет у Сони, потому они, в силу своего убогого, в сравнении с DirectX 12U api, городят костыли по типу ДЛСС (вот только хуанг выпустил ДЛСС как маркетинговую замануху для продажи новых и отыквывания старых видеокарт, а Сони - от безисходности).

    3
    • Комментарий скрыт. Показать

      @djmedvedd, это очередной псих и г-синк от Хуанга. Да в начале круто, а потом сойдёт на нет.

      2
    • Elneron
      Комментарий скрыт. Показать

      @djmedvedd, ffx cas неплохо так бустит фпс в ds, при чем на любой вк.

      2
    • Комментарий скрыт. Показать

      @TTPartizan, физикс работает по умолчанию, а G-sync оказался дорогим для средней аудитории, которая в стиле - если не видно разницы то зачем платить больше. С одной стороны где то этот G-sync действительно позволит видеть более плавную картинку, но с другой стороны некоторые играют в потато мод и не парятся.

      dlss же позволяет видеть картинку более высокого качества меньшими мощностями, где это видано что бы на 2060 можно было нормально в 4к играть ? в нативном разрешение даже 2080 проседает, а тут 2060 на пятки наступает. В будущем подобное поможет работе игр на видеокартах старшего сегмента в 8-12к, что сейчас по факту нереально даже усилиями 4 видеокарт уровня 2080ti и не скоро будет возможно в ближайшие 5-6 лет силами 1 видеокарты без ухищрений и новых способов обработки кадра.

      Многие называют маркетологов мусором и я какое то время считал так же, да даже сейчас в принципе недолюбливаю этот пласт людей. А если призадуматься то огромное количество идей осталось бы пылиться в умах людей, не будь человека который смог бы правильно подать и продать её. В итоге конечно мы имеем кучу ненужного хлама который нужно отсеивать, но и интересных вещей среди этой помойки хватает.

      0
    • shaer
      Комментарий скрыт. Показать

      @TTPartizan, гсинк офигенная фича, зря ты так

      0
    • MAX207
      Комментарий скрыт. Показать

      @djmedvedd, Так для справки, DLSS и Похожее от Sony, это среда для своего API, для открытых технологий по типу DirectML...а ещё этот патент может значит что у AMD будет аналог DirectML или API для его использования.
      @Rumpel, Это как раз отличное решение для консолей...ведь всего одна система и возможность учить нейросети для одного устройства.

      0
    • Комментарий скрыт. Показать

      @shaer, она от фри синка отличается дополнительно +100$. Ну и как видим сам Хуанг признал что это тупик.
      @Rumpel, я не сказал что это плохо. Просто Хуанг тянет в проприетарные технологии, которые обычно долго не живут. Всё ровно будет открытый сдандарт т. к. консоли возьмут свое. Хуангу просто надаест спонсировать студии чтоб они пихали его технологии в игры

      1
    • Комментарий скрыт. Показать

      @TTPartizan, пока АМД не сделают мощных видеокарт, о нвидиа можно не переживать, впрочем и процессоры у АМД для игр не очень подходят (у самого 3700x)

      0
    • Corovaneer
      Комментарий скрыт. Показать

      @Rumpel, так у АМД всегда были и есть мощные видеокарты

      0
    • Комментарий скрыт. Показать

      @Corovaneer, 5700XT лучшее что может предложить АМД на текущий момент(а это уровень GTX1080), а раньше к примеру HD 6970 у меня была и проигрывала gtx 660, а вы говорите были и есть. В среднем сегменте сейчас ок, цена-производительность норм, а вот именно что то для игры в 4к нету даже близко, поэтому ждём нвидиа и чем ответит бигнави|RDNA2 на это.

      HD 6970 тогда стоила 13500, а GTX 660 стоила 8000...

      0
    • Corovaneer
      Комментарий скрыт. Показать

      @Rumpel, 5700xt находится примерно рядом с 2070супер. Да, 2080ти мощнее, но это карта для тех, у кого есть 100к на одну только видеокарту. И даже она не везде может в полноценные 4к/60 ФПС

      0
    • Corovaneer
      Комментарий скрыт. Показать

      @Rumpel, 5700xt находится примерно рядом с 2070супер. Да, 2080ти мощнее, но это карта для тех, у кого есть 100к на одну только видеокарту. И даже она не везде может в полноценные 4к/60 ФПС

      0
    • Комментарий скрыт. Показать

      @Corovaneer, я сказал что она на уровне 1080, которая вышла ещё 4 года назад, линейка RTX вообще неудачной вышла у нвидиа в связи с освоением новой технологии много упора в трасеровку ушло, В итоге проще взять 1080 старую за 15-18, чем новую 5700XT за 35, а на среднем уровне 5600XT или RTX 2060s вполне себя нормально показывают и для 1080р выше и не надо.

      А вообще я против 5700XT из за больших температур, недавно у меня в городе стояла жара под 36 в тени, и моя 1080 грелась до 80, а температура большинства 5700XT на уровне 85 при температуре в комнате +20-25, при жаре под 35 мои ноги сварятся от воздуха выдуваемого из корпуса. проц 3700X при 100% оборотах башни Dark rock pro 4 умудрялся нагреться до 78, вместо обычных 60-65.

      0
    • Corovaneer
      Комментарий скрыт. Показать

      @Rumpel,

      я сказал что она на уровне 1080

      Один уровень что-то не виден на скриншотах.

      температура большинства 5700XT на уровне 85 при температуре в комнате +20-25

      Ээээм, я даже не знаю, что нужно делать, чтобы 85 градусов получить. Я ни разу больше 71-72 градусов пока температур не замечал, и это при игре в 4К.

      0
    • Комментарий скрыт. Показать

      @Corovaneer, разнится от игры к игре, где то 5700XT выигрывает где то 1080, в большинстве конечно 5700xt лучше результат показывает, но как бы они и более подходят под современные игры, и не забываем что у них разница почти 4 года. ещё 3 года назад можно было купить 1080 за те же 35000р. В Death stranding вообще 5700XT разрывает своих опонентов если что. В стренж бригейд так вообще разница в 30% если что, а в остальном около 6-7% прироста в среднем и это в сравнении с банально устаревшей 1080, а так не спорю, аппарат вышел вполне достойный, в марте этого года я выбирал между 5700XT и 2070super (обе модели выходили 40к), в итоге скакнули цены и я взял 1080 с авито за 16к, ниразу не пожалел, для 1440р везде хватает на ультрах под 60-100. Пережить поколение позволяет. Сейчас же я в ожидании биг нави и RTX 3000, кто победит того и возьму.

      0
  • max1mum
    Комментарий скрыт. Показать

    опять патенты, мир патентов и платы дани за них, хотя может оно и к лучшему, технари будут больше думать о том как сделать что-то свое. хотя с другой стороны если что-то придумано как идеальное, то остальное будет ходить только около. или кто-то давно уже придумал идеал, а другой тупо успел это запатентовать и все. умные мысли никогда не приходят только в 1 голову

    0
    • Комментарий скрыт. Показать

      @max1mum, тут смысл в том что именно код под патент попадает, если будут существенные отличия от оригинального патента, то приебаться будет не к чему. А код можно написать сотней способов, вопрос только какой из них будет более эффективным.

      0
  • Комментарий скрыт. Показать

    у меня телек sony, где upscale занимается AI - смотришь старые DVD фильмы тупо в 4k. нвидии до этой технологии - как до Луны

    1
Войдите на сайт чтобы оставлять комментарии.