Новая ИИ-модель научилась симулировать Super Mario Bros. по геймплейным видео

Исследователи создали ИИ-модель MarioVGG, которая способна генерировать игровой процесс Super Mario Bros. в ответ на действия игрока. Хотя результаты пока далеки от идеала — модель генерирует графические артефакты и слишком медленна для реального геймплея, она демонстрирует впечатляющую способность к симуляции физики и игровых механик, основываясь лишь на роликах и действиях пользователя.

Основной целью исследователей стало создание системы, которая в будущем сможет заменить традиционные игровые движки с помощью видео-генерации. MarioVGG — это первый шаг в этом направлении. Для обучения модели использовался набор данных с 737,000 кадрами геймплея, разделенных на 35-кадровые фрагменты, чтобы помочь модели распознавать результаты различных действий.

Для упрощения обучения исследователи сосредоточились на двух действиях: "бежать вправо" и "бежать вправо с прыжком". Несмотря на ограниченный набор действий, система сталкивалась с трудностями при попытке предсказать правильные результаты, особенно в случае прыжков с регулировкой направления.

После 48 часов обучения на графической карте RTX 4090, модель смогла генерировать новые кадры на основе статического изображения игры и текстового ввода. Хотя это позволило создавать фрагменты, итоговая графика оказалась низкого разрешения — всего 64×48 пикселей, а кадры были сильно урезаны, что делало геймплей более грубым по сравнению с оригинальной игрой.

Производительность модели также оставляет желать лучшего — для создания шестикадрового видео требовалось шесть секунд, что делает ее непригодной для интерактивных игр. Однако исследователи рассчитывают, что оптимизация может улучшить скорость генерации в будущем.

Несмотря на эти ограничения, MarioVGG смогла продемонстрировать базовые физические правила игры, такие как падение Марио с обрыва и его остановка у препятствий. Модель также способна "додумывать" новые препятствия в симулируемых уровнях, хотя пока они не могут быть изменены пользователем.

Как и другие ИИ-модели, MarioVGG иногда дает неожиданные результаты: Марио может пропадать с экрана, проходить сквозь объекты или менять размеры.

Исследователи считают, что более длительное обучение на разнообразных данных может помочь решить эти недостатки и улучшить симуляцию более сложных игровых действий, расширяя возможности ИИ в создании игр.