WorldClaw: ну, за моделлеров!

TLDR: ну за моделлеров, не чокаясь.

Это настолько занятно, что я, как 3д-дед по прошлой жизни, распишу подробнее. Трехмерщикам читать и бояцца. Композерам тоже - за ними тоже скоро придут с таким подходом.

Итак, WorldClaw от Tencent (Hunyuan3D) превращает текстовый промпт типа "грабеж корованов на пересечённой местности" в полноценный редактируемый 3D-мир, причем не видео, не сплаты, а прям 3Д в Блендоре.
И внутри этой. Клешни Мира не одна мега-модель, а довольно хитрый агентный конвейер.

Аналогом мозга моделлера выступает Claude Opus 4.8: он разбирает запрос на регионы, типы ландшафта, материалы, объекты и связи между ними.
Далее GPT-Image-2 сначала рисует цветную 2D-карту расположения регионов, после чего WorldClaw процедурно строит по ней в Блендоре единый height field: горы, дюны, террасы, эрозию, перепады высот и переходы между зонами. То есть сам ландшафт строится процедурно, а ии-моделлеры определяют его структуру и параметры. Камни, растительность и другие повторяющиеся элементы отдельно генерируются как референсы через GPT-Image-2, превращаются Hunyuan3D в reusable 3D-ассеты и разбрасываюцца по ландшафту.

Дальше начинается самое интересное. Для выбранного участка Блендор делает обычный 2D-рендер уже готового ландшафта, сохраняя положение камеры. GPT-Image-2 берет этот рендер и дорисовывает туда нужную композицию: корованы, верблюды, грабли и прочие объекты. Эта картинка служит не финальным результатом, а планом будущей 3D-сцены. SAM3 работает именно с этой 2D-картинкой: находит и вырезает из нее каждый отдельный объект вместе с маской. Затем SAM3D берет crop+mask и восстанавливает объект как самостоятельный текстурированный(!) 3D mesh. Благодаря сохраненной камере WorldClaw вычисляет, где этот меш должен находиться на исходном ландшафте, какого он должен быть размера и под каким углом стоять.

Если реконструкция SAM3D получилась хреновой, в дело снова вступает Hunyuan3D: ему дают черновой mesh плюс исходный 2D-crop, и он улучшает геометрию и PBR-материалы. После этого Claude через BlenderMCP несколько раз рендерит сцену, проверяет масштаб, позы, висящие в воздухе или провалившиеся объекты и локально исправляет и меши, и ландшафт. На выходе получается не NeRF, не Gaussian Splat и не красивое видео, а обычная добрая олдскульная 3D-сцена: единый ландшафт плюс независимые затекстуренные meshes, которые можно двигать, удалять, переиспользовать и дальше редактировать в Блендоре или переносить в любой пайплайн.

На итоге: общее устройство мира - старый добрый procedural generation, а свора нейросеток отвечает за ручное позиционирование, внешний вид и наполнение.

Работает все на Blender 5.1.1 и сервере с четырьмя NVIDIA H20. (Это Хоппер для китайского рынка).

Тут я заподозрил, что все это хозяйство будет стоить дороже чахлого кожаного моделлера.
Попросил chatGpt прикинуть стоимость одной сцены ибо авторы сами пишут, что все это ии-моделирование чудовищно долго и медленно.

"Отсюда я бы оценивал не себестоимость WorldClaw, а реалистичный нижний порядок примерно так: если сложный мир занимает на четырех H20 3 часа, GPU дадут ~$8.3, API еще условно $3-10, итого порядка $10-20 за генерацию. Если же агент ковыряет насыщенную сцену 6+ часов, делает десятки GPT-Image-2 вызовов и многократно переделывает объекты, легко получается $20-40+. Но это уже моя расчетная оценка, а не цифра Tencent. Главная неизвестная сейчас - сколько wall-clock времени реально занимает один из миров из статьи. "

Итого, сорок баксов за 6+ часов (в день).

Берём?

https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/

@cgevent