Nvidia Research расписали довольно интересную статью про проект Edify 3D.

Если коротко, то это генератор 3D-моделей на диффузии и трансформерах, но отличает его от подобных, Meshy и Tripo, в том, что Nvidia собрала довольно много подходов в одном инструменте, и, если они доведут его до релиза и будут поддерживать, это будет реально полезная продакшен-тулза. Но кажется, Nvidia не софтверная компания.

Как и конкуренты, Edify генерирует необходимые карты PBR, умеет создавать представления объектов с разных ракурсов, в дальнейшем используя их же для текстур, а отсутствующие части между ракурсами аппроксимирует. Тут важно сравнивать, как алгоритм работает с задними частями модели, потому что в imgTo3D это обычно является слабым местом. В textTo3D с этим должно быть проще.

Дальше про сетку. В презентации ретопология, по всей видимости, работает по схожим алгоритмам с Houdini и Zbrush, и справляется в целом неплохо для танцующих анимированных болванчиков, в продакшен такое не потащишь, к тому же для статик-мешей гораздо лучше использовать триангулированную сетку, особенно если это не хард-сёрфейс. Надеюсь, они сделают кнопку переключения this, quads.

Самое крутое — это создание сцен из набора ассетов, что-то подобное пробовал сделать Andrey Maximov с Promethean AI, но без генерации ассетов. Надеюсь, у Nvidia получится.

Проект
@cgit_vines