Разработана нейронная сеть, способная имитировать волосы в реальном времени

Исследователи из Университета Южной Калифорнии, Pinscreen и Microsoft разработали умную систему обработки волос в реальном времени. Она основана на глубоком обучении и может отображать 3D-модели волос исходя из полученных данных 2D-изображения.

Видеокарты Nvidia способны реализовывать реалистичные волосы, однако на это тратятся огромные ресурсы компьютера, поэтому при включении HairWorks количество кадров могло значительно уменьшиться. Исследователи полагают, что их разработка сможет просчитывать информацию независимо от мощности системы, на которой запущена.

Реалистичное моделирование волос — одна из самых сложных задач при оцифровке виртуальных людей. В отличие от объектов, которые легко параметризуются, например, человеческое лицо, волосы охватывают широкий диапазон вариаций формы.

Чтобы обучить нейронную сеть, исследователи снабдили её набором данных из 40 тысяч различных причёсок и около 160 тысяч двумерных изображения с разных точек взгляда. Искусственный интеллект способен имитировать движение волос в реальном времени за миллисекунды. 

Система не идеальная, и некоторые причёски плохо распознаются системой. Если расширить данные нейронной сети о причёсках, то это поможет в будущем имитировать волосы лучше.

Этот искусственный интеллект может повлиять на визуализацию волос в игре. Возможно, он даже станет частью Nvidia GameWorks 2.0. Если искусственный интеллект Tensor Cores от Nvidia внедрят в будущее поколение видеокарт, то моделирование волос будет происходить в реальном времени, не сильно затрагивая производительность. 

С другой стороны, разработчики могут пропустить этот процесс и реализовывать волосы, благодаря захвату движений. Вопрос в том, что из этого дешевле и проще.