Сегодня все пишут про Atlas от World Labs

Типа глядитечо.

Забывая про Marble, о котором мы тут вздыхали не так давно.

Зачем World Labs выпустила Atlas, если у неё уже есть Marble: и тот, и другой умеют из картинок делать 3D.
Atlas - это Marble 2.0 ??

Разбираемсо. А иначе зачем мы тут (а ну да, нейропрожарка и ген или видео)

Разница принципиальная.

Marble - это в первую очередь генератор готового 3D-мира. Atlas - модель, которая пытается понимать и продолжать сам мир.

Marble получает текст, фото, видео или грубую 3D-заготовку и выдаёт постоянную сцену, которую можно исследовать, редактировать и экспортировать как Gaussian splat или mesh.

Atlas не обязан заканчивать работу 3D-ассетом: он складывает всё увиденное в единое пространственное представление и дальше может по запросу восстановить 3D, показать мир с новой камеры, достроить то, чего на исходных кадрах не было, или сгенерировать целую последовательность новых наблюдений.

Я тут придумал аналогию. Atlas - это брахман, безличная реальность. Мрамор - воплощение в реальном мире любого взгляда вокруг. Да, забыл таблетки с утра.

World Labs прямо говорит, что Atlas станет основой будущих версий Marble.
Marble генерирует 3D-мир. Atlas генерирует и поддерживает модель мира, из которой при необходимости можно получить 3D-мир.

Технически Atlas - multimodal autoregressive diffusion transformer, обученный с нуля одновременно на тексте, изображениях, видео и 3D.

На вход можно давать текст, одну или несколько картинок, видео, данные о положении камеры и пространстве - всё это объединяется в общий spatial context.

На выходе модель умеет выдавать обычные изображения и 360°-панорамы, новые ракурсы существующей сцены, видео до минуты в 1440p с точно заданной траекторией камеры, depth и явное 3D-представление сцены.
И можно задавать до 6 референсных изображений!!
И он Мультимодальный...

Отдельное направление - real-to-sim: по реальному видео Atlas восстанавливает пространство и может генерировать, что увидела бы движущаяся в нём камера или робот. То есть Marble отвечает на вопрос «сделай мне этот мир в 3D», а Atlas пытается отвечать на более общий вопрос: «вот всё, что я знаю об этом мире - что находится здесь, как он выглядит отсюда и что я увижу, если перемещусь туда?»

Короче, это такой и швец, и жнец. Он конкурирует и видеогенами и генераторами миров.
У Ранвея была похожая концепция о том, что представление о мире - прежде всего, а из него мы уже нагенерим что угодно.

Ждем ответочку от Женечки - Genie-3 от Гугла. Хотя похоже им не до этого, там с Геной непонятки.

Пока вейтлист.

https://www.worldlabs.ai/blog/atlas

https://www.worldlabs.ai/blog/marble-world-model

@cgevent