Новый ИИ от Nvidia в реальном времени создает фотореалистичные изображения по описанию

Новый ИИ от Nvidia в реальном времени создает фотореалистичные изображения по описанию

Nvidia продолжает заниматься технологиями глубокого бучения, чтобы интегрировать их в свои продукты, например DLSS, а также занимается экспериментальными проектами. Несколько недель назад компания представила ИИ, способный автоматически доводить анимацию в соответствии с записанной речью. А на этой неделе компания представила новую версию инструмента на основе GuaGAN 2

В прошлом оригинальная версия приложения позволяла генерировать правдоподобные ландшафты при помощи простых набросков. Впечатляющая штука. Но GuaGAN 2 пошла дальше — теперь даже не требуется делать набросок!

Вместо этого модель с глубоким обучением превращает текст в неожиданно комплексные изображения. Это возможно благодаря тренировке нейросети при помощи 10 миллионов изображений.

GuaGAN 2 совмещает в себе распознание текста и генерирование изображений. Это значит, что можно использовать комбинацию из текста и набросков. К примеру, при помощи текстового описания можно задать общие параметры, после чего внести специфические изменения используя инструментарий набросков.

Хотите попробовать технологию? У Nvidia есть интерактивные демо, правда, не факт что все будет работать как положено. Но если у вас есть видеокарта Nvidia с поддержкой RTX, то скачать Nvidia Canvas можно бесплатно.

Нейросетевые ИИ и глубокое обучение уже используется в игровой индустрии, хотя пока и не очень широко. Но в будущем подобное станет стандартом, так как позволит значительно сокращать время для создания концептов или даже фоновых изображений.

И это только начало. Лет через 10-15 игровые движки будут набиты ИИ, ускоряющими многие процессы при разработке игр.

25 Комментариев

  • Shazec
    Комментарий скрыт. Показать

    Разработка игр упрощается, а аппетиты разработчиков повышаются.
    Я не представляю насколько сложно было в 90е спрограммировать игру на SEGA Mega Drive 2, а музыку написать..
    Вообще вроде бы всё и придет к тому, о чём я ранее представлял. Когда наговариваешь то что хочешь видеть в своей игре и компьютер сам её сделает. Что бы не писать километры кода.

    3
    • Soulache
      Комментарий скрыт. Показать

      @Shazec, дорожает, ты не туда воюешь

      3
    • gretham
      Комментарий скрыт. Показать

      @Shazec, это не сравнимо. И не в пользу сеги. Игры на сегу писали команды человек по 5-10, один человек мог полностью покрыть один аспект. Сейчас же это сотни а порой и тысячи человек

      1
    • Комментарий скрыт. Показать

      @Shazec, не так уж и упрощается. все так же нужно иметь кучу знаний причем не только в том чем занимаешься лично ты. далее не дешевый софт благодаря которому и кажется что все упрощается.

      0
    • Shazec
      Комментарий скрыт. Показать

      @Soulache, А я что сказал

      0
    • Beaten_pixel
      Комментарий скрыт. Показать

      @gretham, зачем мелочиться, миллионы людей!)

      -2
    • Soulache
      Комментарий скрыт. Показать

      @Shazec, ты недостаточно сильно увеличил цену разработки!

      0
    • gretham
      Комментарий скрыт. Показать

      @Beaten_pixel, проекты сони
      The Last of Us Part II — 2169 разработчиков
      Marvel's Spider-Man — 2002 разработчика
      Horizon: Zero Dawn — 1916 разработчиков
      God of War — 1699 разработчиков
      Uncharted 4: A Thief's End — 1632 разработчика
      Days Gone — 1533 разработчика
      Shadow of the Colossus — 702 разработчика
      Ratchet & Clank — 605 разработчиков

      1
    • Комментарий скрыт. Показать

      @gretham, напомни-ка,пожалуйста, сколько из этих людей в штате а сколько аутсорсеры которые по модельке делали?

      3
    • rumit
      Комментарий скрыт. Показать

      @gretham, половина из них манагеры, маркетологи и какие нибудь директора на подобии челика который с делал clash of clans, а потом пришел в дайс делать бы 2042, большие студии не залог качества, это большая кормушка для бездарей.

      3
    • Reym
      Комментарий скрыт. Показать

      @mrGrim, так софт как раз таки все и упрощает. У меня вообще знаний в коде ноль, но осилил мини "игру" на анриале четвертом ради фана.

      1
  • Комментарий скрыт. Показать

    Уже есть такая же нейросеть от Сбера. На русском.
    Пишешь описание - даёт картинку.

    Фигня полная.

    -2
  • YAROSLAWART
    Комментарий скрыт. Показать

    @Shazec,
    Дело в том что давно существует достаточно инструментов для создания игр, и без участия Ai:
    *магазины с бесплатными моделями
    *воксельные редакторы
    *конструкторы игр с шаблонами
    *ассеты звуков, 2D графики и прочее.
    *доступ к миллионам фотографий (для референсов и текстур)

    Искусственный интеллект - не панацея, он только упрощает некоторую рутинную работу (например по подбору фото референсов, поиску "шейпов" и тд). Разработчик выступает в роли "оператора" который задает задачи только под конкретную узкую область.

    Если взглянуть чуть другим взглядом, то окажется что игра - это как блюдо. Если в одну тарелку просто набросать разных продуктов - возможно оно будет выглядеть как еда, возможно даже будет съедобно, но не факт что вкусно и полезно.

    Сейчас уже разработка игр качества Sega Mega Drive или даже PS3-PS4 намного доступней и дешевле чем было раньше (чуть ли не 1 человек может создать игру, котрую раньше могла создавать студия из 20-30 человек). Однако не все разработчики становятся успешными, и причина даже не в том что их игру никто не заметил.

    Отличием большинства Инди разработчиков от высокобюджетной разработки заключается в тонкой настройке всех элементов. (и так везде, не только в разработке игр но и в музыке и кино). По этому выше ценится мастерство отдельных людей которые могут собрать из кучи несвязанных элементов - одно, чем мощности ПО, железа или возможности процедурной генерации создать миллион вариантов дерева.
    *с другой стороны только Инди разработчики пытаются попробовать что-то новое, но к сожалению не всегда это финансово прибыльно

    0
    • Shazec
      Комментарий скрыт. Показать

      @YAROSLAWART,
      Имей в прошлом то, что имеют разработчики(повара) сейчас, разработка игры для 16 бит была бы крайне дешевой и простой(по идее), но это бы так же не повлияло на конечную стоимость игры на удешевление. В будущем так же, даже если человека потребуется в 1% времени разработки, то игры всё равно стоить будут дорого.
      И я этого не понимаю, Я к тому что среда разработки игр под какую нибудь Sega была непротоптанными терниями, что бы делать игру надо быть настоящим профи, но при таких трудозатратах игры стоили не 1000 долларов, а сегодня всё просто, но цены нифига не булка хлеба.

      0
    • YAROSLAWART
      Комментарий скрыт. Показать

      @Shazec,
      Тут вопрос не только в разработке, а и в: бюджете на рекламу - которая может быть и 60-70% всего бюджета, пострелизной поддержке в том числе серверов, в отчетности перед инвесторами (если фирма открытое акционерное сообщество она обязана показывать рост так как ее акциями торгуют на рынке, и зарабатывают они в основном не на играх а на акциях).

      Также не стоит забывать что многие ААА издатели продают игру через пару месяцев после релиза уже с 30-60% скидками. (то есть в цену закладывается и то что через полгода и далее будут все большие скидки)

      Крупные студии не будут работать ровно в ноль или себе в убыток. Все хотят прибылей, роста акций, миллиардные состояния и мирового влияния. Нужно просто смириться с тем что индустрию компьютерных игр, которая уже по капитализации обогнала индустрию Кино - крупные издатели не будут во вред себе обесценивать. (из-за этого появились и внутриигровые покупки, сезонные пропуска и пр.)

      Жалко только Инди разработчиков, которым и так тяжело собрать команду спецов (в основном это энтузиасты), постоянно ломать голову чтобы придумывать уникальные игры (по механикам, повествованию или визуалу), а потом ещё пытаться как-нибудь вырваться из под многомиллионной информационной завесы рекламы от ААА издателей.

      Сейчас не только игры конкурируют за внимание пользователей, а все со всем. Нетфликс хочет твоего внимания, аудио-сервисы, соц сети. И все они вкладывают огромные деньги чтобы ты пользовался их сервисами, тратил свое время и деньги.

      0
    • John_McClane
      Комментарий скрыт. Показать

      @YAROSLAWART,

      Искусственный интеллект - не панацея, он только упрощает некоторую рутинную работу

      Сегодня - да, просто упрощает. Ну а там где упрощение, там и падение зарплаты может быть.
      В любом случае, все это развивается, и бог знает каким будет этот GuaGAN через 5-10 лет.
      С каждым годом, как выкатывается все новое обновление, куча неверующих машет рукой "ой, та оно ничем не поможет. Выглядит примитивно и качество маленькое". А по итогу выходят обновления, все совершенствуется, разрешения увеличиваются, качество тоже, Topaz так же не сидит сложа руки, и все больше и больше людей затыкается. Я смотрел недавно нейро-сетку, в которой персонажей по рефу генерируют. И это уже есть в каком-то виде. Боюсь представить, как это будет работать в 2030 году.

      0
    • YAROSLAWART
      Комментарий скрыт. Показать

      @John_McClane, сократится рутина, но хорошого специальста нейронка не заменит.

      Просто многие вещи поставят на поток, и будут генерировать больше контента. Нетфликс на этом и живет, они выпускают много разнообразного контента, в отличие от Голливудских студий которые делают один фильм 1-2 года. И там уже не так важно качество и проработка как количество и разнообразие. (а что-то отдельное как Очень странные дела, или Игра кальмара стреляет очень неплохо и покрывает все остальные инвестиции)

      С другой стороны - этим-же убивается уникальность и то самое удовольствие когда ждешь чего-то нового и получаешь его спустя какое-то время. Сейчас когда скучно - всегда найдешь чем заняться.

      Думаю будущее будет примерно выглядеть так:
      *будут совершенствоваться технологии
      *оптимизироваться производство ископаемых (электричество и батареии сюда-же) потому что государство не может существовать на "гуманитариях"
      *основной способ времяпровождения людей будет происходить в виртуальном мире (потребление контента), а уже второстепенно какая-то деятельность в реальном мире (встречи, прогулки, путешествия)

      Так-что контент-мейкеров меньше не станет, их только станет больше.

      0
  • rabeme
    Комментарий скрыт. Показать

    Если такое и в 3D завезут будет себя адекватно вести, изрядно поубавится необходимость в людях лепящих контент для игр, мегасканы не нужны. Не так давно каждый камушек и деревцо в игре лепилось чьими то ручками, поэтому их лепили мало и очень много дублировали, миллион пещер в скайриме и все одинаковые из нескольких модульных паков! А сейчас тысячи сканов, генераторы деревьев, людей, генераторы для всего, авториг, захват движения для анимаций! Куча рутинной работы сошла на нет, только логику пишет человек, но может ИИ и до этого когда нибудь дойдет!

    1
  • rabeme
    Комментарий скрыт. Показать

    Я думаю нейросети в конце концов придут к такому, что окружение в играх собранное из самой простой геометрии на лету будет обрабатываться и ты сам будешь выбирать, графон время года, дизайн, даже рожи персонажей Skyrim - Photoshop Neural Filter

    0
  • Комментарий скрыт. Показать

    Хватит выдавать длсс за разработку нвидиа они всего лишь оптимизировал и исполнения чужого кода на своих железках, бумаги с кодом лежат в свободном доступе в сети и код могут интегрировать любой желающий в свои продукты. Так как и лучевая трассировка это спецификация директ икса от мелкомягких

    0
Войдите на сайт чтобы оставлять комментарии.