Создатель Genshin Impact научил ИИ играть в игры, глядя на экран

miHoYo, студия-разработчик Genshin Impact, показала ИИ-агента Gamer, способного самостоятельно проходить Honkai: Star Rail. Нейросеть сражается с врагами, решает головоломки и выполняет задания, управляя игрой через клавиатуру и мышь.

В демонстрационных роликах Gamer вступал в бои, бродил по локациям ради заданий и даже одолел босса. В miHoYo полагают, что такая технология пригодится для проверки квестов и других механик. По их оценке, она также сократит расходы на производство игр.

Главное отличие Gamer – отсутствие прямого доступа к внутренним данным игры. Агент разбирает скриншоты, понимает, что происходит на экране, и отправляет команды клавиатуры и мыши, как это сделал бы живой человек.

Для обучения исследователи взяли записи реального геймплея и дополнили их несколькими типами данных:

  • Инструкции к происходящему на экране

  • Объяснения ключевых решений игрока

  • Краткие сводки для памяти, помогающие удерживать информацию о прошлых событиях

  • Описание целей, к которым нужно стремиться

В итоге Gamer научился свободно перемещать персонажей, крутить камеру, ориентироваться в меню и взаимодействовать с окружением.

Подготовив основу, команда проверила навыки агента на двух побочных заданиях: "Случай делает вора (часть I)" (Opportunity Makes the Thief, Part I) и "Звериная ярость" (Bestial Ferocity). Для их прохождения нужно перемещаться между локациями, разговаривать с персонажами, сражаться с противниками и решать простую головоломку.

С заданиями Gamer справился на 80% и 83,6% соответственно, если считать по выполненным целям. С головоломками дела обстояли хуже. На ранних этапах тестирования они давались ИИ с трудом.

Исследователи прогнали агента через 40 задач, охватывающих семь типов мини-игр из Honkai: Star Rail. Средний результат составил 49,7%. Разброс между типами головоломок оказался большим: в "Навигационном компасе" (Navigation Compass) Gamer добился 95,8%, а в "Счётной схеме" (Abacus Circuitry) результат упал до 22,2%.

Основное применение технологии в miHoYo видят в тестировании контента. Gamer может проверять, корректно ли работают квесты и взаимодействия с объектами, а ещё самостоятельно исследовать новые области и пытаться выполнять задачи. Это позволит разработчикам воспроизводить и чинить ошибки до того, как обновление попадёт на live-серверы.

Технология пока на ранней стадии, и сами исследователи признают, что агенту есть куда расти. Но результаты в сюжетных заданиях говорят сами за себя – ИИ уже способен проходить заметную часть контента, опираясь только на изображение с экрана.

Больше статей на Shazoo
Тэги:

Об авторе

Эксперт по Fallout
Главный редактор
Более 16 лет в индустрии освещения видеоигр, кино, сериалов, науки и техники. Особенно разбираюсь в серии Fallout, ценитель The Elder Scrolls. Поклонник Arcanum и Fallout Tactics. Больше всего играю в Civilization, Old World и градостроители. Изучаю ИИ и загадки космоса.