Японский разработчик делает нейросеть, генерирующую кошек-жен на основе скетча

За последние 5-7 лет мы видели самые разные нейросети и приложения, которые могут генерировать аниме-персонажей. С каждым годом качество этих алгоритмов только росло, так что сейчас некоторые даже используются для быстрого заполнения контентом или генерации базовых изображений для дальнейшей ручной доработки.

Один из самых впечатляющих примеров сегодня создал японский разработчик, известный в твиттере под ником t_takasaka. Его экспериментальная модель генерирует не только иллюстрацию на основе грубого наброска, но и трехмерную модель. Все в реальном времени, так что можно вносить изменения как в скетч, так и управлять ползунками для достижения требуемого эффекта.

Вот как это выглядит:

スケッチからイラストと3Dモデルをリアルタイムで自動生成する実験です。
右上がワイヤフレーム、左下が法線、右下がテスクチャを貼り付けた3Dモデルになります（イラストと区別が付きにくいため軽く回転させています）。
パラメータスライダーでの画風や形状、落ち影、顔向きの変更も反映しています。 pic.twitter.com/AkdkIYKUzN

— 高坂 (@t_takasaka) January 8, 2022

При помощи этого алгоритма можно моментально менять стиль, форму, тени, ориентацию лица и другие параметры.

А все началось с того, что разработчик начал делать алгоритм для анимирования двухмерных лиц:

2Dイラストから3Dモデルを自動生成する実験の続きです。

目パチや口パクをパラメータで指定できるようにしました。今回追加した形状の合成処理は表情以外にも色々応用できそうです。

次は髪の生成を考えてますが、その前に頭部全体のランドマークを追加したデータセットを作る必要がありそうですね。 pic.twitter.com/UM5Sjo7UrM

— 高坂 (@t_takasaka) December 12, 2020

Если разработчик продолжит активную разработку, что уже через несколько лет программа может стать основой для создания аниме-персонажей в самых разных сферах. 

Разработчик рассказал, что в рабочее время он занимается созданием программы VRoid Studio, которая позволяет создавать 3D-персонажей без необходимости знать 3D-моделирование.