Microsoft  бахнул в опенсорс! (ну почти) LensErase, который  стирает вотермарки, логотипы, надписи и объекты вместе с их тенями

Что умеет модель:

Удалять вотермарки и логотипы. В обучении использовали полупрозрачные наложения, повторяющиеся знаки, диагональные надписи через весь кадр, полосы и небольшие отметки в углах.

Убирать объекты. Людей, животных, мебель и другие выбранные элементы сцены. Предусмотрены как мелкие детали, так и крупные объекты, закрывающие значительную часть изображения.

Удалять несколько жертв одновременно. Можно отметить несколько объектов в разных частях кадра.

Убирать связанные тени и отражения. Модель обучали распознавать следы присутствия объекта, в том числе выходящие за границы выделения.

Стирать текст. Выбранные надписи можно удалять, сохраняя поверхность под ними и соседние элементы. Вот это нам надо!

Редактировать готовые постеры. Убирать отдельные заголовки, логотипы, плашки и другие элементы композиции, достраивая открывшиеся участки.

Схемая: изображение + маска выделения -> результат. Текстовый промпт не требуется. Авторы показывают примеры с нарисованными вручную масками и выделениями через SAM 2.

 Описание модели.

Шопоткапотом?

Для обучения собрали 101,07 млн примеров формата "исходник, маска, чистый результат". Среди них почти 10 млн примеров с вотермарками, а также отдельные наборы для текста, постеров и больших областей удаления.

Интересная деталь: содержимое выделенной области модели показывают целиком. Сквозь полупрозрачный вотермарк остаются видны детали фона - их можно использовать для восстановления. А внешний вид удаляемого объекта помогает понять, какие тени и отражения ему принадлежат. 

Техническая статья.

За сохранение остальной картинки отвечает TraceFusion: механизм определяет фактическую область изменений и восстанавливает исходное содержимое за её пределами. Чтобы просьба убрать логотип не превращалась в незапланированный ремонт всего кадра.

Ограничения. Закрытые участки модель реконструирует, поэтому точное возвращение утраченных деталей не гарантировано. Авторы также отмечают сложности с подготовкой качественных обучающих данных для сверхвысоких разрешений, включая 4K.

Хдевеса: на момент написания поста в репозитории стоит "Code coming soon". 

Ждем код.

Примеры на странице проекта · GitHub

@cgevent