Создатель Genshin Impact научил ИИ играть в игры, глядя на экран
miHoYo, студия-разработчик Genshin Impact, показала ИИ-агента Gamer, способного самостоятельно проходить Honkai: Star Rail. Нейросеть сражается с врагами, решает головоломки и выполняет задания, управляя игрой через клавиатуру и мышь.
В демонстрационных роликах Gamer вступал в бои, бродил по локациям ради заданий и даже одолел босса. В miHoYo полагают, что такая технология пригодится для проверки квестов и других механик. По их оценке, она также сократит расходы на производство игр.
Главное отличие Gamer – отсутствие прямого доступа к внутренним данным игры. Агент разбирает скриншоты, понимает, что происходит на экране, и отправляет команды клавиатуры и мыши, как это сделал бы живой человек.
Для обучения исследователи взяли записи реального геймплея и дополнили их несколькими типами данных:
Инструкции к происходящему на экране
Объяснения ключевых решений игрока
Краткие сводки для памяти, помогающие удерживать информацию о прошлых событиях
Описание целей, к которым нужно стремиться
В итоге Gamer научился свободно перемещать персонажей, крутить камеру, ориентироваться в меню и взаимодействовать с окружением.
Подготовив основу, команда проверила навыки агента на двух побочных заданиях: "Случай делает вора (часть I)" (Opportunity Makes the Thief, Part I) и "Звериная ярость" (Bestial Ferocity). Для их прохождения нужно перемещаться между локациями, разговаривать с персонажами, сражаться с противниками и решать простую головоломку.
С заданиями Gamer справился на 80% и 83,6% соответственно, если считать по выполненным целям. С головоломками дела обстояли хуже. На ранних этапах тестирования они давались ИИ с трудом.
Исследователи прогнали агента через 40 задач, охватывающих семь типов мини-игр из Honkai: Star Rail. Средний результат составил 49,7%. Разброс между типами головоломок оказался большим: в "Навигационном компасе" (Navigation Compass) Gamer добился 95,8%, а в "Счётной схеме" (Abacus Circuitry) результат упал до 22,2%.
Основное применение технологии в miHoYo видят в тестировании контента. Gamer может проверять, корректно ли работают квесты и взаимодействия с объектами, а ещё самостоятельно исследовать новые области и пытаться выполнять задачи. Это позволит разработчикам воспроизводить и чинить ошибки до того, как обновление попадёт на live-серверы.
Технология пока на ранней стадии, и сами исследователи признают, что агенту есть куда расти. Но результаты в сюжетных заданиях говорят сами за себя – ИИ уже способен проходить заметную часть контента, опираясь только на изображение с экрана.
- HoYoverse выиграла 112 тысяч долларов в суде против ИИ-компании, копировавшей голоса и дизайн персонажей из Genshin Impact
- В августе в Genshin Impact стартует пятый цикл бесплатного выбора 5-звёздочных персонажей
- Гуляем по летающему городу будущего в геймплее следующей версии Zenless Zone Zero