Четыре ИИ-агента Gemini 4 прошли Minecraft за 27 часов без помощи человека

Google DeepMind прославилась благодаря AlphaGo, системе, которая в 2017 году обыграла сильнейшего игрока в го Кэ Цзе. Теперь исследователи Google показали, что универсальная модель справляется с куда более сложной задачей. Четыре агента на базе Gemini 4 Argon полностью прошли Minecraft и победили финального босса, Эндер-дракона, без какого-либо вмешательства человека.

Подробности эксперимента команда опубликовала в новой статье. Главный вывод исследования касается не столько самой игры, сколько подхода – раньше подобные достижения требовали специально написанного под конкретную задачу ИИ. Теперь с ними справляются агентные модели общего назначения.

Четырёх агентов поместили в изолированный мир Minecraft в режиме выживания со случайно сгенерированной картой. Перед ними поставили единственную цель – убить Дракона Края. Ролей, стратегий или специальных инструментов для игры исследователи не выдавали.

Каждый агент управлял своим персонажем через Mineflayer – библиотеку с открытым исходным кодом, которая позволяет управлять игроком в Minecraft программно, то есть агент не нажимает клавиши, а пишет и запускает код. Для координации агенты использовали внутриигровой чат и общую память.

Уже в начале прохождения агенты самостоятельно решили распределить обязанности. Они предупреждали друг друга об опасностях, делились советами и выводами из ошибок, передавали координаты и даже подбирали предметы погибших союзников. Со временем у каждого сложилась своя специализация:

• janesick – занимался изготовлением инструментов

• gyldenia – добывала еду и припасы

• auratian – активировал ключевой портал в Край

• bulicame – строил укрытия от эндерменов и нанёс дракону последний удар

Всё прохождение заняло 27,23 часа, причём большая часть времени ушла на схватку с Драконом. Путь к победе дался агентам непросто:

Четыре агента написали и запустили 2783 программы, обменялись 229 сообщениями и погибли 605 раз по ходу прохождения.

За сессией следил пятый агент под названием "Наблюдатель" (the Observer). Он выполнял роль независимого свидетеля – проверял, не жульничают ли участники, и публиковал отчёты в реальном времени, а также итоговую сводку.

Эксперимент потребовал заметных вычислительных ресурсов. Ключевые цифры выглядят так:

• 1,35 млрд входных токенов

• $810 по ценникам Gemini

• $1620 по стандартному тарифу

Обновление Minecraft 26.4 добавило хрупкий лёд в Ледяные пещеры и плейлисты для проигрывателя

Minecraft Dungeons 2 раскрыла возможное происхождение Хранителя и оно оказалось трагичным

Незадолго до этого ИИ уже добивался успехов в Minecraft, но в более узких задачах. Так, Nvidia в 2023 году представила агента Voyager на основе GPT-4, который тоже работал через Mineflayer и осваивал игру, а модель DreamerV3 от DeepMind научилась добывать алмазы без примеров человеческой игры. Полного прохождения с победой над финальным боссом в таких работах не было.