Hunyuan World 1.1 (WorldMirror)

Новая версия опенсорсного генератора миров от Хуньянь

В то время как наша ранее выпущенная версия Hunyuan World 1.0 (открытая, облегченная версия, развертываемая на потребительских графических процессорах) была ориентирована на генерацию 3D-миров из текста или изображений с одним ракурсом, Hunyuan World 1.1 значительно расширяет возможности ввода, открывая возможность создания миров из видео и из нескольких ракурсов.
 
Основные особенности:
Любой ввод (Any Input), максимальная гибкость и точность: гибко интегрирует различные геометрические входные данные (положения камеры, внутренние характеристики, карты глубины) для устранения структурных неоднозначностей и обеспечения геометрически согласованных 3D-результатов.

Любой вывод, результаты SOTA: эта элегантная архитектура одновременно генерирует несколько 3D-представлений: плотные облака точек, карты глубины с несколькими видами, параметры камеры, нормали поверхности и гауссовы сплаты

Скорость: как универсальная feed-forward модель, Hunyuan World 1.1 работает на одном графическом процессоре и предоставляет все 3D-атрибуты за один проход в течение нескольких секунд.

Думаю, что памяти будет жрать очень много, но можно проверить:

Код: https://github.com/Tencent-Hunyuan/HunyuanWorld-Mirror
Проект: https://3d-models.hunyuan.tencent.com/world/
Демо: https://huggingface.co/spaces/tencent/HunyuanWorld-Mirror
Бумага: https://3d-models.hunyuan.tencent.com/world/worldMirror1_0/HYWorld_Mirror_Tech_Report.pdf

Генераторы 3Д-миров появились, как дополнительные эволюционные ветки от видеогенераторов. И если от Гугла у нас уже есть ответочка на эту эволюцию в виде GENIE-3, то вот у OpenAI ничего такого нет (впрочем они и на поле генераторов картинок тормозят).

А Хуньяньский все это еще и опенсорсит!

@cgevent