MaterialFusion

В репозитории опубликован код MaterialFusion — метода для переноса материала на объект в изображении без построения 3D-модели. Авторы решают задачу, где нужно взять материал с изображения-примера, например металл, дерево, стекло или ткань, и реалистично применить его к выбранному объекту, сохранив форму, детали поверхности и фон исходной сцены. Такой инструмент полезен для виртуального прототипирования, визуализации товаров, дополненной реальности и создания цифрового контента. MaterialFusion объединяет возможности IP-Adapter и Guide-and-Rescale внутри диффузионной модели. IP-Adapter извлекает признаки материала из изображения-примера, а Guide-and-Rescale помогает сохранить геометрию и исходные особенности объекта. Для оценки метода авторы собрали собственный набор реальных изображений: 25 фотографий объектов и 15 изображений материалов. MaterialFusion сравнивается с ZeST, Guide-and-Rescale и IP-Adapter с маской. В количественных метриках, визуальных сравнениях и пользовательском исследовании метод показывает более реалистичное встраивание материала, лучше сохраняет структуру объекта и аккуратнее работает с фоном и границами. Работа будет полезна исследователям генеративных моделей и редактирования изображений, а также разработчикам инструментов для дизайна, AR/VR, e-commerce и визуализации продуктов.

статья | код