Мне открыли доступ к бете через вэйтлист и я решил начать с эксперимента, и попросил платформу собрать офис Дандер Миффлин из сериала Офис.
Агент сам спроектировал офис, построил стены и перегородки, расставил мебель, добавил кухню, переговорную, ресепшн и рабочие места персонажей.
Он также добавил детали, которые я отдельно не просил – степлер в желе, башкотряс Дуайта, телефоны, документы, рамки и кофейную кружку.
Затем платформа создала набор виртуальных камер. Всего получилось 16 ракурсов.
Режимы внутри такие:
Chisel отвечает за структуру сцены и позволяет управлять ее планировкой.
Render создает изображения из выбранных камер.
Flythrough превращает сцену в короткий пролет.
Splat должен собрать из ракурсов объемное пространственное представление.
Пока все работает не идеально. Render у меня сработал, Flythrough проигрывается, но скачать видео не удалось. Splat завершился ошибкой. Для беты это вполне ок (наверное) основная идея уже работает, но отдельные этапы пайплайна пока нестабильны.
У Marble есть и Developer Mode. Через API и CLI можно загружать картинки, получать данные о камерах и глубине, генерировать новые виды, редактировать сцены и конвертировать сплаты в GLB-меши.
В общем-то это попытка создать пространственную модель, которую можно описывать текстом, собирать из изображений и видео, редактировать через агента, просматривать с разных камер и использовать в других проектах.
Chisel здесь не главный продукт, а один из способов задавать структуру мира. Главная идея все же у World Labs заключается в том, чтобы сделать 3D-пространства генерируемыми, редактируемыми и программируемыми. Куда-то туда все и несется.
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto
Другие каналы по темам:
🤖 AI @maltsevdaily
🧑🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym