ИИ-Игровой движок от Tencent
[сайт]

Вдогонку к ИИ-Doom от Google (писал ранее), китайцы решили максимально быстро заявить о своей работе, опубликовав сайт с результатами и кратким описанием итоговой модели без статьи

Проведена колоссальная работа над датасетом OGameData, состоящего из 15 тыс. видео взятых из "next-gen open-world games" (Cyberpunk, Witcher 3 😅 и т.д.). А также аннотации их, т.е. генерации Prompts для обучения, с помощью LLMок и сеток предсказывающие camera movement, motion vectors, edges, key points

Многие эти данные можно было бы достать напрямую из игр, но авторы взяли видосы из интернета, благодаря чему ушли от проблемы обучения RL как у Гугла. Но те же примеры Motion Score + Camera Motion очень смущают...

Далее авторы обучили GameGen-O + InstructNet, основанные на foundation диффузной модели, для генерации "игры" по тексту и управлению ею соответственно

Пока сложно сказать, насколько это эффективно работает. Ждём больше данных + длинного видео. Но прогресс впечатляет!

#ии #статья