Microsoft запатентовала ИИ, который считывает выражение лица игрока и на лету переписывает игру

Microsoft подала патентную заявку, описывающую систему, в которой генеративный ИИ анализирует мимику, голос и поведение игрока, а затем перестраивает под него содержимое игры.

Документ зарегистрирован под названием Generative Narrative Game Experience With Player Feedback. Речь идёт не о готовой технологии, а о описании принципа работы гипотетической системы.

Основная идея патента шире, чем сканирование лиц. Он описывает конвейер, в котором разработчик задаёт модели промпт, а та генерирует нарративные элементы – цели, побочные задания, NPC, диалоги и предметы.

Обработка не заканчивается на первом проходе, так как система продолжает собирать данные уже во время игры и достраивать контент на основе действий и реакций пользователя.

По задумке авторов, дизайнер может подавать на вход текст, изображения и аудиофайлы, а движок выдаст персонажей, мир и сюжет "на высоком уровне". Дальше человек либо правит результат вручную, либо уточняет его дополнительными запросами. Итог возвращается в виде "визуального представления игры в форме текста, изображений и/или графов".

В документе отмечается, что промпт может быть "просто общей темой, идеей или целью игры либо характеризовать общую природу игры, а может включать некоторые нарративные детали, такие как главные герои, базовый сюжет и так далее".

На выходе модель генерирует описания лора, реплики, задания и объекты. Помимо схем и текста, система способна выдавать код, который вставляется в движок, или обновлять уже существующую игру через API, и в качестве примера прямо упоминается Minecraft.

Второй сценарий передаёт функцию дизайнера самому игроку, но без прямого ввода промптов. Здесь ИИ адаптирует мир, опираясь на действия пользователя и "метрики вовлечённости".

В этом варианте изменения происходят не в реальном времени, а на этапе разработки или между релизными билдами, когда данные собираются с тестировщиков контроля качества, бета-тестеров и участников раннего доступа.

Отдельно патент описывает и обращения к генеративной модели прямо во время сессии. Система забирает вопрос игрока к NPC вместе с контекстом, включая его положение в мире, предыдущие разговоры с другими персонажами и выбранную сюжетную ветку, после чего формирует ответ.

Авторы заявляют, что "возможный вывод на естественном языке у разговорного агента практически безграничен".

При этом инженеры Microsoft не ограничиваются болтливыми NPC. В заявке описывается механика, при которой персонаж способен менять сам мир вокруг себя.

Из текста патента:

Aгент, связанный с NPC, может создавать не только разговорный вывод (например, предлагать игроку побочное задание), но и программный вывод, который создаёт новые игровые ассеты, правила или изменения игрового мира, связанные с этим разговорным выводом (например, объекты или локации, связанные с предложенным побочным заданием).

Генеративные агенты, по замыслу, могут управлять и обычными объектами. В качестве примера приводится сундук, который игрок вместо открытия ключом выбивает ногой, а система реагирует на нестандартное действие.

В некоторых случаях новый контент может быть настолько объёмным, что затронет даже игровой нарратив, создавая новые нарративные элементы, пути прохождения и режимы игрового процесса. В мультиплеерных играх, в частности, коллективные взаимодействия игроков друг с другом и с игрой могут приводить к сложному эмерджентному поведению.

Отдельный блок посвящён сбору данных. Среди перечисленных метрик – частота возвращения в конкретную локацию, длительность разговоров с NPC, а также факт завершения или отказа от задания.

В целом такая аналитика давно применяется в индустрии – в Unreal Engine студии собирают данные о перемещениях с плейтестов и строят тепловые карты, но решение об изменениях там принимает человек.

Самая спорная часть документа касается камер и микрофонов. Microsoft допускает, что "с разрешения" система будет "выводить такие индикаторы из произнесённых игроком комментариев, выражений лица и тому подобного во время игрового процесса".

Дополнительно предлагается обрабатывать "размещённые в сети прямые трансляции" и передавать эти данные в модель.

Конечная цель описана прямолинейно: генерировать больше того, что нравится аудитории, и вырезать то, что не удерживает внимание.

Если определённая часть игры склонна привлекать игроков, модель может решить развить и расширить эту часть игры, чтобы дополнительно повысить вовлечённость. На другом конце спектра игровой контент, который менее вовлекает, будь то часть оригинальной игры или добавленный на лету, может быть урезан или получить меньший вес.

Логика такого подхода вызывает очевидные вопросы к креативности. Формально алгоритм, заметив подавленные лица игроков на смерти Айрис в Final Fantasy VII, мог бы счесть сцену неудачной и заменить её чем-то более приятным – либо, наоборот, растянуть эпизод ради максимального эмоционального эффекта.

Xbox провела вторую волну сокращений – Halo ушла к Activision, судьба Arkane не определена

Microsoft отменила запрет на слово "Microslop" спустя полгода конфликта вокруг ИИ в Windows 11

Стоит держать в голове, что патентные заявки редко отражают реальное состояние разработки. Чаще они фиксируют приоритет на идею, чтобы позже предъявить права конкурентам, реализовавшим похожее решение.

Доказательств того, что Microsoft построила хотя бы прототип описанной системы, в документе нет.