Продолжаем тему ИИ-based редактирования 3д сцен. Тут авторы запили полноценный пайплайн состоящий из множества компонент вместо использования какой-то 1ой генеральной модели типа ChatGPT (но и её также применяют! 😁)
- Сегментируют мешки
- Классифицируют материалы
- Генерируют как мешка должна выглядеть "в идеале" диффузной сеточкой на основе text prompt
- Выбирают с помощью из набора уже predefined физически-корректных материалов самый подходящий под каждый сегмент объекта. Используют CLIP для этого дела
- Далее с помощью inverse рендера оптимизируют параметры графа этого материала (BRDFки, текстуры и т.д.)

На выходе PBR моделька, которую можно использовать в рендеринге, 3д редакторах, для игр и фильмов. Даже сделали удобный UI интерфейс

Относительно вчерашней статьи классическая демонстрация разницы между двумя подходами:
максимально генеральным основанным лишь на Foundational Models vs полуинженерным, с заложенными приорными знания в виде сложной архитектуры

2ое всегда дает лучше результат в краткосрок