WorldLabs: выпустили генератор миров Atlas с детальным контролем камеры и 2К на выходе.

Модель натренирована с нуля на тексте, картинках, видео, и 3D. Это мультимодальный авторегрессивный диффузионный трансформер, который берёт все входящие данные в один контекст и использует его для создания консистентных продолжительных сцен на основе сплатов.

Фичи:

* Контроль камеры: Atlas генерирует картинки и видео на основе одного и более исходных изображений с пиксельно точным управлением камерой, создавая видео продолжительностью до 1 минуты в разрешении 1440p. Можно задавать разные траектории для пролёта сквозь одну и ту же стабильную сцену.

* Пространственная реконструкция: модель реконструирует сцены и генерирует новые углы обзора на основе исходных картинок/видео без необходимости в специализированном оборудовании. Можно сделать шот на телефон(ы) и дальше вытаскивать из него дубли с разных ракурсов. Полученные результаты можно скачать как видео или сплат для дальнейшей работы со сценой в 3D софте.

* 4D симуляция: с помощью Atlas можно не просто продлять вкинутое видео, а двигаться сквозь него во времени и менять положение камеры как хочешь. При этом композиция сцены и общая детальность остаются близкими к оригиналу. Можно вкидывать и не видео, а одну картинку или больше.

* Генерация изображений: также модель по тексту генерирует изображения в разных стилях и 360-градусные панорамы разной сложности.

Ближайшее 4D-шное, что можно заценить эту тему это видосы у 4dv.ai, но там видны сплатные артефакты, а у Atlas сцены чистые.

Пока Atlas за вейтлистом. Подаём заявку - кто-нибудь из нас да пробьётся.

Анонс
Сайт
Вейтлист