ИИ-технология способна генерировать качественные 3D-модели из 2D-изображений за "секунды" — может произвести революцию в VR, гейминге и цифровом дизайне
Учёные представили новую мощную ИИ-технологию для создания масштабируемых 3D-моделей. VFusion3D решает проблему нехватки 3D-данных для обучения ИИ и создания контента — вместо использования существующих 3D-моделей, VFusion3D обучается на текстах, изображениях и видео.
Исследователи утверждают, что VFusion3D "может генерировать 3D-объект из одного изображения за считанные секунды", демонстрируя при этом высокое качество и точность. Если создаваемые модели действительно окажутся на высоте, это значительно упростит работу в таких областях, как геймдизайн, VR и цифровое проектирование.
Команда, возглавляемая Джунлином Ханом, Филиппосом Коккиносом и Филипом Торром, разработала специальный конвейер для VFusion3D, в котором небольшое количество 3D-данных используется для тонкой настройки модели видео-диффузии. Видео были выбраны в качестве основного источника данных, так как они часто показывают объект с разных углов, что способствует точному воспроизведению в 3D.
Для модели видео исследователи выбрали EMU Video, обученную на различных роликах, включая панорамные съемки объектов и кадры с дронов. Такие видеоматериалы содержат подсказки о 3D-структуре мира, что позволяет VFusion3D генерировать высококачественные 3D-объекты из одного изображения независимо от угла обзора.
Кроме того, разработчики сравнили VFusion3D с другими 3D-генеративными моделями, чтобы оценить качество и производительность. В проекте на GitHub, который курирует Джунлин Хан, можно найти примеры анимированных объектов, созданных VFusion3D, и их сравнение с конкурентами.
Желающие могут протестировать VFusion3D через доступную онлайн-демонстрацию, где можно загрузить изображение и получить 3D-модель. Однако очередь из желающих большая.
- Ведущий специалист Google по ИИ прогнозирует революционные изменения к 2045 году — наномашины в мозгу и вечная жизнь
- "Неразгаданные странности" — ютубер создал потрясающее ТВ-шоу с помощью ИИ
- Google заявила, что новая технология обучения ИИ в 13 раз быстрее и в 10 раз энергоэффективнее
17 комментария
И отнять кучу работы,увы таков прогресс.
@Vantor, а в результате никто ничего не отнимет. Ибо концепт-арты все еще нужны. Так что художники все так же будут востребованы, будут допиливать за нейронками, и 3Д-модделеры будут точно так же допиливать модель за ней (как минимум я уж очень сомневаюсь, что нейронка будет адекватно производить оптимизацию моделей, поликаунт соблюдать и учитывать множество других нюансов). В результате новый инструмент облегчит с одной стороным им жизнь, а с другой - вырастут и у тех, и других объемы и темпы работы.
Я помню, что с конца 90-х точно так же все кричали, что машинный перевод отнимет работу у переводчиков, с появлением нейронок опять начали кричать, но у меня работы только больше становилось все эти годы.)
@Vantor, Пока не похоже, что такой прогресс хорошо закончится.
@Vantor, не отнимут. Эту 3d модель еще надо уметь редактировать, так что моделлеры никуда не денутся
@MournfulCongregation, как раз таки концепты нейронка рисует лучше и в пайплайн входит генерация арта и потом уже генерация модельки, на почтившем ютубе уже много роликов по всему процессу до демонстрации играбельной модельки в игровом движке. Вот только модели не особо качественные, так как болвпнки для какой то детской игры сойдёт, но до ААА качества очень далеко. Стоит отметить, что все это платное, особенно если нужно быстро и более менее качественно, то плати деньги за нейронки
Да да целый день пытаюсь уже, но получаю ошибку, нужен спад хайпа.
Уже лет 5 слышу об этом всем, упрощение в разработке, куча фич, но все равно все дорожает, игры хуже, да одни ремастеры, а ни некстгена, ни революции,
@Smalko, На то и упрощение, что усреднение. Стандарты качества падают потому, что падает квалификация кадров. Качественные кадры стоят дорого - поэтому лучше кадры подешевле, а тех других оптимизируют уже третий год. Те кто подешевле - это как раз "выходцы из ютуба", и адепты "научиться всему за пять минут". На пару с нейросетками и другими такими же клоунами они плодят заурядный контент, который заполняет заурядные игры. По той простой причине, что за пять минут мечтают работу делать не только моделлеры, но и все остальные.
Поэтому упрощения и дальше будут плодить, и это дальше будет влиять на разработку игр, которые чудесным образом будут требовать всё более мощных компьютеров просто потому, что и программист нынче пошел также подкованный. А вишенкой будут цены, потому что, вне зависимости от того сколько требует разработка квадрупл и пятипупл проектов - игры просто не могут быть дешевле. Но, определённо, могут и будут хуже.
@Weilard, ну да, есть такое, при всем при этом в компаниях повсюду набинарные вертолеты, дык это ваще комбо
@Weilard, да глупости. Уже показали что премии шишкам платят как годичные бюджеты нескольких уволенных студий мелкософта. Дело не в деньгах, а в руководстве. И сколько вон нормальных игр от разрабов одиночек, есть и с графикой ААА и с механика и что не одной ААА игре не снилось, my summer car это же шедевр по возможностям. Вон владик брутал какой вышел. Spacebourn2 тоже от одиночки, где то стар ситизен и старфилд обошёл.
@sprayer, Это крохи на фоне всего остального, неужели не заметно? Да и что это за примеры для ситуации нынешнего периода за счёт, когда там "My Summer Car" выходил? В 2016? Восемь лет назад? На фоне тысяч блеклых игр это единицы. Нужно смотреть на ситуацию шире, а не с позиции того, что хорошие игры продолжают порой выходить.
Окей окей, а теперь покажите полигональную сетку. Если там мешанина из треугольников, такая модель мало кому вообще нужна. А нормальную ретопологию, причем с заделом на анимацию, насколько мне известно, адекватно и автономно ни один инструмент не делает. А без оптимизации сетки нормально не сделать развертки и не покрасить. А значит нанимаем рабочие ручки и моделируем
@Lex92, там делается авторетопо, по роликам норм, но качество не для ближних ракурсов, а анимацию в миксамо. Да все кривенько косо, но в принципе работает, для инди особенно уровня Китая это находка.
@sprayer, я сколько не искал не нашел ни одного ролика где бы демонстрировали результаты работы этого VFusion3D, мало того даже изображений есть полторы штуки каких-то невнятных.
Скажите. У кого получилось ?
Давно известный сервис. Для реального использования не годится. Сетка ужасна, объем неправильный. Про скелетную анимацию этих моделей и говорить нечего - с такой сеткой это будет похоже на баг. Чтобы что-то подвигать в примитивном видео для тик-тока может и пойдет. И то, с большого растояния чтобы дефекты не было видно. Если модель с отверстиями или внутренними полостями то смело можно забыть про адекватную форму и эти полости/отверстия.
Вроде Автодеск что-то делает сейчас в этом направлении более юзабельное. Но и он пока показал постановочное видео, а не реальный рабочий результат.
В общем в этом направлении ИИ пока терпит фиаско.
Только сегодня получилось сгенерировать модель. Всё это время я пытался и была ошибка. Результат очень плохой. Не стану прикреплять сюда скрин. Вручную за эти дни можно намоделировать было, посмотрев туториалы по Zbrush