Генераторы миров: World Lab релизнула Marble как готовый продукт. Метаверсищще все ближе.

Я писал про них еще в декабре, а также в августе и сентябре.

До сих пор это было демо, где можно было погулять по уже готовым мирам, теперь это полноценный продукт, где можно генерить свои миры.

Тут важно заметить, что в отличие от конкурентов (о них ниже), тут не происходит "достраивания мира" на ходу, это не динамическая видео-генерация, это готовый, но фиксированный мир.

Но зато его можно экспортировать как сплаты, как меши(!), ну и конечно, как видосы. И расширять, через композ(!) миров.

Тут геймдев сильно встрепенулся и расчехлил бутылочку беленькой за левел-дизайнеров, дизайнеров, моделлеров, текстурщиков. Ибо.

Мультимодальность Marble: он позволяет создавать трёхмерные миры из текста, изображений, видео или 3Д-лейаутов (грубых трёхмерных макетов).

Marble также позволяет интерактивно редактировать, расширять и даже ОБЪЕДИНЯТЬ миры.

Самый простой режим: картинка и промпт на входе.

Но есть и более продвинутые фичи: много изображений(для разных частей мира) или даже видео для всего мира на входе. Можно ввести несколько фотографий или короткое видео, изображающее реальное место с разных ракурсов, и он объединит их, чтобы создать трёхмерный мир с элементами реального пространства.

Есть редактирование(!) миров: удаление объекта, инпайнтинг области. Также есть замена объектов, изменение визуального стиля или реструктуризация крупных частей мира.

Для продвинутых тридешников они даже накропали примитивный 3Д-редактор: Chisel. В нем можно из плоскостей и кубиков собирать грубый лейаут сцены, а потом Marble делает как бы перенос стиля из промпта, сохраняя пространственную структуру 3Д-сцены. Пишут что даже можно импортировать 3D assets of objects в сцену, что уже совсем интересно. Про форматы пока неясно. На их демо явно видны 3Д-генерации, которые затащили в Chisel откуда-то типа Хуньяня 3Д.

Можно также расширять миры двумя способами:

1. После создания мира Marble позволяет расширить его за один шаг. Вы контролируете этот процесс: выбираете область мира для расширения, и Marble создаст дополнительный контент для её заполнения. Расширение также можно использовать для детализации определённых регионов мира (как правило удаленных от камеры и более грубых, то есть есть LOD).

2. Композ миров(!). Вы можете создавать любое количество миров, создавая большие пространства с помощью режима композа в Marble. Вы можете выбирать, какие именно миры создавать и как именно расположить их относительно друг друга. И получить расширенный мир.

При экспорте лучше всего, конечно, выглядят сплаты, для них они даже написали свой Сплатовый Браузер Spark на three.js.

При экспорте в полигоны сетки выглядят как полный треш, хотя есть лоу- и хай-поли режимы. Наверное их можно попытаться спасти текстурами.

Есть рендер в видео с контролем камеры и разными эффектиками.

Посмотрите видосы, а потом пролистайте вот тут:
https://www.worldlabs.ai/blog/marble-world-model
Там хорошие примеры создания, расширения и экспорта.

Ну и шуруйте на:
https://marble.worldlabs.ai/
Логин гуглом или Гитхабом, сходу дают 7000 кредитов (4 генерации мира, есть только текстовый промпт и ввод одной картинки)
За 20 долларов в месяц - 12 генераций со всеми плюшками и Chisel.
Есть Pro за 35 долларов - 25 миров и композ миров. Но щас есть промо: Pro за ОДИН доллар в месяц.
Кредиты можно докупать.
https://marble.worldlabs.ai/pricing

P.S. Выглядит как продуктпродукт, в отличие от конкурентов. Среди которых:

Genie 3 от Гугла (см также тут)
Mirage
Oasis
World Grow
Hunyuan World
Odyssey

@cgevent