Skywork AI представила игровой движок, где графику генерирует нейросеть

Китайская компания Skywork AI выложила в открытый доступ экспериментальную систему нейросетевого рендеринга Matrix-Game 4.0, объединяющую игровой движок и генеративный ИИ. Традиционный движок отвечает за физику и геометрию, а гибрид из двух моделей Wan2.2 (по 5 млрд параметров каждая) преобразует каркас сцены в финальную графику. Система требует около 18,5 ГБ VRAM, а задержка ввода составляет 112 мс.

На NVIDIA GeForce RTX 5090 система выдает 83 FPS, но только в разрешении 480p. Из-за специфики диффузионных моделей технология все еще подвержена геометрическим артефактам при быстрых поворотах камеры