Представьте себе обширную ролевую игру с сотнями, если не тысячами, интерактивных NPC.

Все современные RPG позволяют взаимодействовать с ними через предопределённые варианты ответов, где игрок выбирает из текстовых опций на экране, что вызывает определённую реакцию от NPC. Это кажется неестественным, но NVIDIA планирует изменить это.

С помощью ACE (движка персонажей) и NeMo SteerLM (модели естественного языка), NVIDIA хочет сделать возможными голосовые взаимодействия с NPC. Это важный шаг к ближайшему будущему, где неигровые персонажи будут поддерживаться GPT-моделями, позволяя вести с ними длинные разговоры.

Принцип работы следующий: игрок даёт NPC «голосовой ввод» на естественном языке. Движок преобразования речи в текст и LLM обрабатывают его и генерируют ответ на человеческом языке.

Omniverse Audio2Face используется для создания ответа персонажей в реальном времени. Объявленный на Gamescom, новый NeMo SteerLLM от NVIDIA добавляет жизни в часть ACE, которая обрабатывает естественный голосовой ввод.

В зависимости от характерных черт, заданных разработчиком игры для NPC, генерируются ответы с разной степенью креативности, юмора и даже токсичности.

Источник: Ferra