Как нейросети используются для создания концепт-артов

Всем нам нравится, что современные компьютеры способны выполнять за нас рутинную, скучную работу. Что-то доведенное нами до автоматизма, утомительное и без конца повторяющееся.

За последний пару десятилетий в области компьютерных технологий значительного успеха достигли новые процессы, вроде процедурной генерации. Они позволяют нам достичь разнообразных результатов с минимальными затратами, позволяя уделять больше внимания творчеству. При помощи процедурной генерации создаются уровни (виртуальные локации), растения (Speedtree) и даже текстуры (Substance Designer).

А в последние годы сформировался новый инструмент — GAN, что расшифровывается как Generative Adversarial Networks (генеративно-состязательная сеть). Нейронные сети, которые генерируют новые данные, создают изобоажения и последовательности.

Эти фреймворки машинного обучения сталкивают друг с другом пару ИИ, с целью выяснить, какой результат получится самым правдоподобным. При этом весь процесс полагается на библиотеку данных, загружаемую в нейросеть.

Ранние версии GAN были примитивными и показывали довольно сомнительные результаты. По крайней мере, никто бы не отважился сказать:

А что, давайте использовать это кошмарное изображение рыцаря-пса, созданное DeepDream, в нашей следующей крупнобюджетной видеоигре.

Несмотря на это, казалось, неудачное начало, крупные компании увидели потенциал GAN. Так что сегодня на рынке доступно множество нейросетей, с адекватной ценой и качеством. Поэтому в производстве их могут использовать не только крупные компании, но и небольшие студии, художники-фрилансеры и обычные люди.

Это открывает новые, огромные возможности. Но есть потенциальные опасности и подводные камни, о которых креативщикам следует знать. В этом материале представлен обзор того, как можно с успехом использовать GAN, что ждет нас в будущем и как это отразится на нашей работе в ближайшие 5 лет.

Оригинал публикации: Gamasutra

Введение

Для начала, стоит совершить небольшой прыжок во времени. Изображение выше я создал полтора года назад при помощи сайта GAN, где цветовая кодировка областей испльзовалась для определения свойств среды. Можно было схематически нарисовать облака, реку, широкий горный хребет или даже здание с четырьмя рядами окон и большой дверью.

После, по нажатии на кнопку "Create", происходило настоящее "волшебство". Я был по-настоящему удивлен, когда впервые попробовал сервис. А когда показал результат работы, то он ошеломил моих коллег и товарищей.

Впервые показалось, что эти нейросети стали настолько мощными, что теперь повысят производительность работы. Вместо того, чтобы тратить несколько часов, данный инструмент позволил за считанные минуты создать несколько правдоподобных концептов ландшафта. Тем временем команда NVIDIA работает над похожим инструментом, который включает не только схематичный ввод, но и позволит менять общее настроение и время суток в генерируемом изображении.

Пару месяцев спустя я наткнулся на отличное выступление Скотта Итона, создававшего сеть ИИ с глубоким обучением, которая использовала в работе множество заранее загруженных фотографий. Он использовал сеть для создания абстрактных человеческих фигур, которые в качестве вводных данных полагаются на простые наброски.

В конце концов, его эксперименты дошли до того, что для обучения сети использовались модели кубов и других форм. После того как ИИ научился использовать новую библиотеку, Скотт взял результаты, также основанные на черновиках, и превратил в физические скульптуры.

Перенесемся на два месяца назад, к началу нового производственного цикла в нашей студии. Замечательный этап препродакшена. И, как это часто бывает на ранних этапах разработки, у нас было немного больше свободы для экспериментов, поэтому мы могли вернуться к исходной точке и найти новые крутые способы для создания сумасшедших визуальных эффектов и переосмысления работы наших художественных отделов. Препродакшен — самое лучшее время для определения трудоемких задач и способов решения проблем. Или просто для небольшой оптимизации каждого рабочего процесса.

Имея это в виду, я подумал о сайте Ganbreeder, которым пользовался некоторое время назад. Ресурс позволял загрузить собственные изображения и "скрестить" их с существующими картинками от других создателей или из их библиотек. С тех пор сайт переименовали в Artbreeder, и теперь на нем есть множество различных GAN, заточенных под решение конкретных задач: создание окружения, персонажей, лиц или под более специализированные категории, включая аниме и фурри.

Спустя пару дней работы с инструментом я перестал так сильно волноваться за свои результаты. Не поймите меня неправильно: я полюбил инструмент и быстро привык к нему, но зачастую результаты вызывали жуткое чувство неловкости или даже чего-то сверхъестественного. Когда прошел этот период, я показал результаты в команде, и мы начали обсуждать возможности, который предлагал этот CrossBreeder.

Применение

Будем реалистами. Если правильно настроить и обучить собственную нейронную сеть, то можно получить безграничные возможности. Можно создать сеть, более ориентированную на определенную цель, не только с учетом того, какая библиотека используется для ее обучения, но и в зависимости от того, как методы вводы и переменные будут формировать конечный результат.

На самом деле, большинство из нас, не имея серверную ферму в подвале или надлежащих навыков программирования/написания скриптов, ограничены параметрами, доступными на сайте.

Касаемо нашей процесса производства я обнаружил несколько важных аспектов, которые уже принесли реальную пользу. Не только в плане экономии времени, но и для воплощения новых творческих идей, которые даже трудно было представить.

Нашему проекту требовалось создание концептов, которые выглядели бы чуждо и неожиданно, в чем как раз заключается сила GAN. Они генерируют результаты, на первый взгляд кажущиеся реалистичными, но если вы им позволите, то могут создавать странные, необычные формы и конструкции.

Вот некоторые возможные сценарии использования GAN и то, как я использовал их.

Концепты персонажей

Пока что у меня смешанные чувства к тому, как GAN создает концепты персонажей. Причина проста: персонажи — основа любого фильма, игры или другого повествовательного продукта. Они тщательно прорабатываются и полагаются на связь множества аспектов, поэтому обязательно следуют конкретным правилам и редко генерируются случайным образом. Безусловно, все это важно только для главных героев со своими историей и предысторией.

В таком случае после получения результатов генерации GAN приходится проделывать много дополнительной работы. Зачастую приходится менять перспективу, трансформировать одни и объединять другие части. А затем, после общения с дизайнерами, сценаристами или техническим художником, приходится проделывать эту работу в третий, четвертый, а то и пятый раз. Этот процесс может отнять столько же сил и времени, сколько и обычный метод дизайна персонажей.

Одно из очевидных преимуществ — это формирование идей для костюмов и одежды. Здесь я вижу пользу в том, чтобы начать с чего-то совершенно странного, но выглядящего круто, а затем смягчить результат, чтобы он был читаемым и разумным для поставленной цели.

Еще одно отличное применение — второстепенные персонажи и инопланетяне. Зачастую их образы свободны от строгих правил или даже получают выгоду, если выглядят странно и неузнаваемо.

Портреты

Здесь есть свои трудности. Порой результаты бывают слишком хороши: я был напуган и встревожен, когда лицо с экрана, которое я только что создал, улыбнулось мне в ответ, как бы давая мне понять, что оно такое же реальное, как и пролитое кофе на рабочем столе. Результаты, полностью готовые к стадии продакшена. Не сомневаюсь, что через пару лет многие выпущенные концепт-арты для таких реалистичных игр, как The Last Of Us, появятся на Artstation, и никто не удивится и не спросит, как удалось создать столь реалистичные изображения.

Хорошо обученные системы без труда справляются с созданием более стилизованных и абстрактных лиц. Благодаря этому художники могут мгновенно увидеть, каким будет конкретный персонаж, если изобразить его в ином стиле. Понять, как как герой будет выглядеть с большой бородой, другой прической или более мягкими чертами. Или даже увидеть лицо персонажа, которое было бы вдвое шире обычного.

В этом реалистичном примере для создания лица использовалась StyleGAN. Эта нейронная сеть позволила за считанные минуты создать вид лица в 3/4, увидеть улыбающегося персонажа или даже сформировать его альтернативный образ. Для всего остального получить быстрый и качественный результат было проще при помощи традиционного наложения и совмещения изображений.

Окружение

Помимо создания портретов GAN хорошо проявляют себя при формировании среды. Независимо от того, задействуете ли вы Artbreeder или метод сегментированного ввода, такой как NVIDIA GauGAN, результаты феноменальны и позволяют с высокой скоростью воплотить творческий потенциал, особенно при создании миниатюр настроений и тому подобного.

После завершения генерации все еще требуется приложить немного усилий, но природа более снисходительна с точки зрения эффекта "зловещей долины". Поэтому можно очень быстро получить практически идеальные результаты. Но намного важнее то, что они будут максимально разнообразными. Это верно как для реалистичных пейзажей, так и для необычных и неизвестных планет.

Единственный недостаток — интеграция зданий в ландшафт. Создание отдаленного города или городского профиля — простая задача, но, если вы хотите получить атмосферу центра Лос-Анджелеса, добиться высокой точности и детальной реалистичности возможно только после специфического обучения нейросети для этой цели.

Ключевые кадры, раскадровка, сцены и иллюстрации

Возможно, когда-то технология достигнет уровня, когда в качестве вводных данных мы сможем указывать "мужчину в синей рубашке, сражающегося с супергероем в Италии", а результатом будет функциональная визуализация. В таком случае мы приблизимся к выполнению задач из данной категории. Но в настоящий момент нейросети в начале пути. Уже существуют API для перевода текста и визображения, но, честно говоря, работают они паршиво.

Сложность создания успешной сцены для продакшена в индустрии развлечений безумна. Будучи творцом, тебе необходимо думать о композиции, ракурсе, движении, освещении, предыдущем и следующем кадрах, контексте. Слишком много деталей для современных GAN. Компьютерным гениям Земли понадобится еще как минимум пара лет, чтобы добиться адекватных результатов. Возможно, сейчас самое время, чтобы стать художником по раскадровке.

Текстуры

Чтобы проверить возможности сетей, я начал с создания нескольких баз для текстур. Что касается поиска различных идей для создания текстур, то применение GAN — неплохой вариант. Однако время от времени четкость и точность страдают от нехватки деталей, от чего результат выглядит искусственным. Но так как Substance Designer уже существует, не сложно предположить, что уже идет работа по улучшению и решению проблем интеграции специфических нейросетей. Осталось дождаться их.

Дизайн

Дизайн — еще одна сторона GAN в которую я влюбился. Чем больше свободы с вводными данными, тем лучше. Этот процесс выбрасывает из зоны комфорта и позволяет за пределами привычек. Органический дизайн работает намного лучше технического. Все еще существует трудность с четкими краями и границами, поэтому чем меньше библиотека нейросети, тем точнее и технически четче получатся результаты. Однако так можно потерять часть фактора неожиданности, который иногда идет на пользу.

Абстракция и искусство

Современному миру искусства потребуется пересмотреть свой взгляд на то, где именно начинается искусство и какова роль зрителя, в противовес креативному процессу творца.

Без труда можно создать что-то похожее на картину, и никто не будет сомневаться, что распечатанная версия, висящая в вашей гостиной — давно забытая композиция Кандинского или современная абстрактная картина букета цветов.

Искусство живет своим контекстом и смыслом. Часто через художника и то, на чем он/она настаивает, чему посвятил свою жизнь. Если используете GAN для поддержки своего творческого процесса, тогда стоит рассматривать ее как отличный инструмент достижения результатов, расширяющих мысли, усиливающих голо. В этом плане опасно полагаться на мнение компьютера и потреблять или использовать то, что он сделал самостоятельно, даже если предоставляешь ему первоначальные вводные данные.

Проблемы

Важно подчеркнуть, что в GAN нет какой-то волшебной кнопки "Создать отличный предмет искусства", о которой люди мечтают годами. По-прежнему нужен кто-то, кто знает, чего хочет и что с этим делать после создания. Безусловно, даже необученный человек может создавать крутые изображения, и делать это намного быстрее. За счет этого сократился разрыв между художником с 10-летним стажем и тем, кто только начал работать креативщиком. Тем не менее, по-прежнему требуется знать основы дизайна, включая композицию, цвет и свет, соотношения и так далее.

Еще один важный фактор — работа после генерации. После создания изображения, которое пойдет в продакшен, важно подготовить его к этой стадии. И в данном случае качество зависит исключительно от ваших навыков и опыта — тут нет простого и удобного решения, только годы работы. Важно учитывать, каким требованиям к анимации должен соответствовать дизайн, согласуется ли результат с общими целями продукта или визуальными рекомендациями?

Что делать

Начиная использовать GAN в своей работе, не сложно утонуть в том эффекте, который получаешь от их использования. Поэтому важно четко понимать, каковы цели в данном процессе. Думайте о том, чего вы хотите добиться, а не то, какие инструменты используете. Размышляйте о вводных данных и учитывайте свое видение, а после приступайте к генерации потрясающих результатов.

Подобно глобализации, существует опасность, что дизайн станет слишком упрощен, прямолинеен. Если множество людей скармливают нейросети одни и те же данные, то результат получится банальным и однородным.

Однако нет сомнений, что в будущем мы будем все больше и больше работать при поддержке ИИ.

Иллюстрация в шапке: Robin Tran