Ученые научили ИИ собирать полноценные, редактируемые 3D-сцены внутри Blender

Группа исследователей представила систему, которая по одной фотографии создает не обычную 3D-модель - как в обычных генераторах, а полноценный редактируемый файл - с объектами, текстурами, освещением и сразу настроенной камерой. То есть результатом внедрения становится готовый Blend-файл, где геометрия хранится в виде B-REP-объектов, материалы назначены через шейдерные ноды, а свет и камера - это отдельные, редактируемые элементы сцены

Процесс воссоздания разбит на последовательные стадии, повторяющие обычный рабочий процесс. Сначала система строит черновой каркас из простых геометрических форм, затем уточняет форму каждого объекта, потом занимается материалами и текстурами, следующим шагом расставляет объекты по сцене в соответствии с оригинальным изображением, и в последнюю очередь настраивает освещение. На каждом этапе работает отдельный модуль-верификатор, который сравнивает получившийся рендер с исходной фотографией и составляет конкретный список несоответствий, требующих исправления. Генератор вносит правки, снова рендерит сцену, и цикл повторяется до тех пор, пока верификатор не одобрит результат

Главное практическое преимущество - это то, что итоговая сцена остается полностью рабочим Бленд-файлом, а не запеченным изображением. Модели воссозданные другими генераторами не дают такого доступа - там геометрия, материалы и свет слиты в единое неразделимое представление. Тут - можно редактировать отдельные объекты, дублировать детали, менять текстуры, изменять форму, и даже запускать встроенный в Blender физический движок

Весь интерес в перспективах. По сути, такой подход открывает дорогу к генерации целых миров напрямую из своих концептов. Ты описываешь идею, добавляешь эскиз или референс, и почти сразу получаешь не картинку, а готовую песочницу внутри Blender, которую сразу же можно доработать под себя. Новый подход все ближе - где ты работаешь с идеями и фантазией, а всю черновую работу забирает на себя ИИ. Этот нарратив уже давно продвигается в Unreal Engine - теперь что-то показали и внутри Блендера

Если интересно погрузиться - вот ссылка на исследование. Там доступ к большому PDF-описанию

FULL VIEW 🧑‍💻