Nvidia представила GPC – универсальный контроллер движений по принципу больших языковых моделей

Исследователи NVIDIA представили новый подход к обучению виртуальных персонажей, применяющий принципы больших языковых моделей к моторному контролю.

Разработка получила название Generative Pretrained Controllers, или GPC, и будет представлена в этом году на конференции SIGGRAPH. Ключевая идея заключается в том, чтобы отказаться от привычной практики создания отдельного контроллера под каждую конкретную задачу и вместо этого получить единую предварительно обученную модель, пригодную для дообучения под новые сценарии.

Большинство существующих работ по симуляции движений сталкивается с одним и тем же ограничением. Контроллер обучается для строго очерченного набора действий, а перенос полученных навыков на другую задачу требует практически полного перезапуска процесса.

NVIDIA задала обратный вопрос – может ли сам моторный контроль подвергнуться предобучению по аналогии с языковыми моделями и затем повторно использоваться в разных задачах.

Технически GPC превращает моторные навыки в словарь дискретных токенов и обучает генеративный контроллер на архитектуре трансформера через предсказание следующего токена. Схема повторяет логику GPT, где каждый следующий шаг вытекает из предыдущих. По итогам один и тот же предобученный контроллер удаётся дообучать под новые задачи без построения модели с нуля.

Для формирования словаря движений используется сквозное обучение с подкреплением. Подход одновременно оптимизирует "моторный словарь", построенный на методе Finite Scalar Quantization, и управляющую политику, отвечающую за преобразование дискретных кодов в физически корректные команды управления.

После того как кодовая книга сформирована, поверх неё обучается авторегрессионный трансформер в стиле GPT, моделирующий внутреннюю структуру словаря.

Итоговый генеративный контроллер работает в реальном времени внутри физической симуляции и выдаёт естественные, физически корректные движения для интерактивного управления персонажем.

Обучение проходило на массиве из более чем 600 часов данных о движениях, а система, по данным исследователей, воспроизводит обширный корпус клипов с точностью 99,98%. По сравнению с прежними токенизированными методами процесс обучения существенно упростился.

В демонстрационных сценариях контроллер проявляет несколько наблюдаемых эмерджентных свойств:

• Реактивное поведение при внешних возмущениях, включая толчки и столкновения

• Естественное восстановление после падений

• Плавные переходы между освоенными движениями без явных разрывов

Именно эта устойчивость и делает GPC пригодным не только для задачи демонстрации движений, но и для широкого спектра приложений – от анимации персонажей в играх до робототехники и интерактивного управления. Авторы работы – Yi Shi, Yifeng Jiang, Chen Tessler и Xue Bin Peng.

Программист из супермаркета в одиночку создал ИИ-генератор бесконечных миров и попал на конференцию SIGGRAPH 2026

В комментариях к анонсу пользователи предположили и возможные направления развития технологии. В том числе есть потенциал переноса подхода на робототехнику – GPC позволяет представить сценарий, при котором робот в реальном мире получает те же преимущества гибкого дообучения, что и виртуальный персонаж.

Официальная презентация работы состоится в рамках SIGGRAPH в этом году.