Исследователи из Google Research, Google DeepMind и Тель-Авивского университета представили GameNGen — первый игровой движок, полностью управляемый нейросетью, который обеспечивает взаимодействие игрока с виртуальной средой в реальном времени с высоким качеством генерируемой графики.

GameNGen обучается в два этапа: сначала агент с помощью обучения с подкреплением учится играть в игру, а затем диффузионная модель обучается генерировать следующий кадр на основе последовательности предыдущих кадров и действий игрока. Таким образом, для получения набора данных для последующей тренировки, инженеры научили нейросетевого агента играть в DOOM. Для этого использовался метод обучения с подкреплением, а в качестве игрового окружения выступила популярная платформа для исследования искусственного интеллекта ViZDoom. Обучение происходило с помощью алгоритма Proximal Policy Optimization. На данном этапе цель была не в максимизации количества игровых очков, а в генерации достаточного количества обучающих данных, которые бы напоминали игру человека и содержали бы разнообразные игровые ситуации.

В процессе обучения агент получал награды за успешные действия (например, за уничтожение врагов или нахождение секретов), и штрафы за ошибки (получение урона или смерть персонажа). В результате размер собранного обучающего набора данных состоял из более чем 900 миллионов кадров, а также из записи действий агента. На втором этапе эти данные были использованы для дообучения диффузионной модели на базе Stable Diffusion v1.4. Основная задача модели — генерировать следующий кадр, используя для этого несколько предыдущих кадров, а также действия игрока. На данном этапе возникает известная проблема — использование предыдущих изображений для генерации новых приводит к быстрому накоплению ошибки и падению качества создаваемых кадров. Чтобы исправить данный недочет и улучшить стабильность работы модели, разработчики добавили к данным на этапе обучения дополнительный шум. Помимо этого, также были дообучены отдельные компоненты модели, такие как декодер латентных представлений, что позволило улучшить качество изображения.

В конечном итоге, модель оказалась способна генерировать полноценный игровой процесс в режиме реального времени с качеством, сопоставимым с графикой оригинальной игры. GameNGen работает со скоростью более 20 кадров в секунду на одном TPU процессоре. Модель реагирует на действия игрока в режиме реального времени, симулируя игровой процесс: изменяются цифры счетчиков игрового интерфейса — количества здоровья, патронов, брони в зависимости от действий игрока и получаемого урона от монстров или игрового окружения. Игровой мир реагирует на действия игрока — открываются и закрываются двери, появляются монстры, которые атакуют игрока и прочее.

📚Тематические ссылки:
https://gamengen.github.io/
https://nplus1.ru/news/2024/08/30/gamengen-google-deepmind