Oasis: Вселенная в трансформере

🔥 Oasis — это первая в своем роде игровая модель, полностью генерируемая нейронкой в реальном времени. Она позволяет пользователям взаимодействовать с виртуальным миром, где все элементы, включая физику, правила игры и графику, создаются и управляются нейронкой.

📕 Основные особенности Oasis:
— Пользователи могут перемещаться, прыгать, подбирать предметы, разрушать блоки и выполнять другие действия, взаимодействуя с миром, созданным ИИ.
— Вся игра генерируется на основе фундаментальной модели, без использования стандартных игровых движков.
— Oasis понимает и воспроизводит такие элементы, как строительство, физика освещения, управление инвентарем и взаимодействие с объектами.

📕 Технические аспекты:
— Oasis состоит из двух частей: пространственного автоэнкодера и диффузионной модели на основе трансформеров. Автоэнкодер основан на ViT, а основная модель — на DiT.
— Модель обучалась на открытых видеоданных Minecraft, собранных OpenAI, с использованием метода Diffusion Forcing, что позволяет генерировать последовательные кадры с учетом пользовательского ввода.
— Команда Decart создала оптимизационную инфраструктуру для модели Oasis, так как стандартные методы для LLM были неэффективны для архитектуры DiT: В современных моделях текст-видео, таких как Sora, Mochi-1 и Runway, на генерацию одной секунды видео может уходить до 10–20 секунд, даже при использовании нескольких GPU. Оптимизация Decart позволило улучшить использование GPU и минимизировать задержки, масштабируя модель для многократного использования GPU и сокращая время передачи данных.

☺️ Код и веса модели Oasis доступны для локального запуска, а также есть демо:
INFO—MOREINFO—GITHUB—WEIGHTS(HF)—DEMO

🐈‍⬛ А вот пользовательский опыт от меня:
— Это наверное самая триповая игра в которую я играл, вещи трансформируются во время перетаскивания, как только ты выбираешь камень, который рандомно сгенерировался в инвентаре и уже мечтаешь построить каменный дом, он тут же превращается в дерево.
— Милый цветочек при выборе ставит деревянное ограждение.
— Можно легко телепортнуться просто посмотрев вниз и вновь вперед.
— Вода, сундук сразу же вызывают критическую ошибку и тебя выбивает из сервера.
🐑 Идеальный симмулятор насколько хаотична жизнь.

Основной вывод от меня:
Оптимизация видео моделей невероятно развивается и скоро мы получим много опенсоурс моделек, которые смогут генерить 20+ кадров в реалтайме, еще и триповых игр. Еще больше мемов и абстрактных видео + игр. Но если мне нужно будет сделать что-то точное, что требует сохранение структуры A и положения B, я пойду делать это стандартным способ. (Blender, After Effects, Unreal Engine и так далее + предыдущее поколение уже хорошо контролируемых нейронок)