Nvidia научила ИИ проходить игры с помощью просмотра летсплеев

Исследователи из Nvidia представили модель NitroGen, способную учиться играть, анализируя видеозаписи геймплея. Нейросеть «просмотрела» 40 000 часов контента из 1000 разных тайтлов, уделяя особое внимание роликам с оверлеем нажатий геймпада. Система демонстрирует отличные результаты в 3D-экшенах и платформерах, на 52% превосходя модели, обучавшиеся с нуля на незнакомых задачах.

В основе разработки лежит архитектура GROOT N1.5, изначально созданная для робототехники. Технология нужна не для создания читов, а для обучения физических роботов через визуальное восприятие. Все наработки, включая веса модели, авторы выложили в открытый доступ.