Новый метод моделирования динамических городских сцен при помощи 3D-гауссиан

Группа исследователей из Чжэцзянского университета и Li Auto представила Street Gaussians — новый метод моделирования и представления оживлённых городских улиц при помощи набора облачных точек с семантическими весами и привязанных к ним 3D-гауссианами.

Чтобы преодолеть ограничения существующих подходов, в методе оптимизируется каждое облачко точек объекта, включая отслеживаемые позы и динамическую модель внешнего вида на базе сферических гармоник.

По словам исследователей, такое явное представление позволяет легко компоновать объекты и фон, расширяя возможности редактирования сцены и достигая скорости 133 кадра в секунду при разрешении 1066×1600 после всего получаса тренировки.

Предложенный метод оценивался на нескольких сложных тестовых наборах, включая KITTI и Waymo Open Dataset. Эксперименты показывают, что он последовательно превосходит лучшие существующие методы.

Дополнительные примеры динамических 3D гауссиан сцен можно найти по ссылке. Подробнее о Street Gaussians и код можно узнать здесь.