Nvidia представила технологию моментального превращения 2D-фотографий в 3D-объекты

Технология Neural Radiance Field или NeRF включает обучаемые ИИ-алгоритмы, которые позволяют создавать трехмерные объекты из обычных 2D-фотографий. NeRF даже обладает способностью заполнять упущенные детали, которые не попали в кадр. Это впечатляющее достижение, которое позволяет добиваться впечатляющих результатов в разных областях — начиная от видеоигры, заканчивая автопилотов автомобилей. Теперь же Nvidia создала новую технику NeRF, особенность которой в том, что она работает невероятно быстро — требуются лишь секунды для обучения ИИ и создания 3D-сцен.

Обучаемая модель Nvidia Instant NeRF требует наличия лишь дюжины статичных фотографий с разных углов, после чего система генерирует 3D-модель сцены, всего за десятки миллисекунд. Система работает даже с несколькими объектами, однако для наилучшего результата требуется минимум движений, иначе объект будет размытым.

Вот как это выглядит в действии:

Nvidia отмечает, что прошлые NeRF-модели также работают довольно быстро — за минуты, даже если в нескольких случаях объект загражден. Проблема прошлых версий в том, что их обучение занимало часы. Версия Nvidia работает за секунды, так как полагается на специальную технику, оптимизированную для использования всех возможностей GPU. Техника работает даже на одной видеокарте, хотя самые быстрые результаты получаются на картах с тензорными ядрами, созданными специально для ускорения задач, включающих искусственный интеллект.

Компания считает, что Instant NeRF можно использовать для тренировки роботов и автономных систем, чтобы они лучше понимали размер окружающих объектов и их формы. Также техника позволит генерировать трехмерные модели окружающей среды для дальнейшей модификации, при этом не требуя специальной экипировки.