NVIDIA представила демо Covert Protocol на основе Inworld AI — выглядит пока очень сухо

В ходе основного доклада GTC 2024 (не путать с GDC) генеральный директор Nvidia Дженсен Хуанг продемонстрировал новое демо ИИ-NPC под названием Covert Protocol. В отличие от демо Kairos, показанного на CES 2024, которое было основано на технологии Convai (его мы сегодня тоже видели), это работает на базе Inworld AI — другой крупной платформы ИИ-NPC, ориентированной на разработку игр.

Inworld AI впервые был добавлен моддером Bloc в такие игры, как Mount & Blade II: Bannerlord, The Elder Scrolls V: Skyrim и Grand Theft Auto V, хотя Rockstar быстро заблокировала его использование.

В ноябре Microsoft объявила о партнерстве с Inworld AI для разработки мультиплатформенного набора инструментов, включающего ИИ-ассистента для дизайна и среду для персонажей. Теперь технология Inworld интегрирована с платформой Nvidia ACE for Games — Avatar Cloud Engine, представленной в прошлом году на Computex.

Nvidia ACE нацелена на предоставление полного "пайплайна цифрового человека". Все начинается с Riva, которая обеспечивает автоматическое распознавание речи (ASR) и синтез речи (TTS) с помощью настраиваемой большой языковой модели (LLM) Nemotron. Здесь разработчики могут создавать специфические предыстории и индивидуальности персонажей, соответствующие игровому миру. Они также могут лучше согласовывать взаимодействие игроков с контекстом сцены с помощью программируемых правил для NPC с NeMo Guardrails. Наконец, Audio2Face автоматически создает выразительную анимацию лиц игровых персонажей только из аудиоисточника.

Что касается Inworld, разработчики могут настраивать различные параметры для каждого конкретного NPC: личность, знания и познание, цели, сцены, безопасность, долговременную память и отношения. Кайлан Гиббс, генеральный директор Inworld AI, также сказал:

Сочетание микросервисов Nvidia ACE и движка Inworld позволяет разработчикам создавать цифровых персонажей, способных управлять динамическими повествованиями, открывая новые возможности для того, как геймеры могут взаимодействовать.

Остается ждать и смотреть, как будет развиваться технология, но пока что результат ушел не сильно дальше ConvoAI.