Как классификация и кластеризация могут улучшить поиск в каталоге музейных объектов? На примере творчества Михаила Махаева

Поиск в Государственном каталоге Музейного фонда РФ иногда выдает слишком большой и не всегда точный результат. Студенты и наставники программы ПАНДАН в Европейском университете в Санкт-Петербурге рассказывают, как они погрузились в цифровое наследие мастера рисунка и гравюры М. Махаева, чтобы усовершенствовать поиск музейных объектов, и что из этого получилось.

🖇 В чем суть?

Цель проекта — научиться разделять предметы по степени опосредованности оригинала (какое отношение к оригинальным работам имеет каждый найденный предмет) и по сюжету произведения (группировка предметов по принципу максимальной визуальной похожести). Такое разделение может облегчить поиск в Госкаталоге. Так как 30 миллионов предметов каталога — это много, в рамках проекта участники решили ограничиться творчеством одного художника.

🗃 Как обрабатывали данные?

Участники проекта работали с каталогом «Петербург Михаила Махаева. Графика и живопись второй половины XVIII века». Все предметы в нем они поделили по степени опосредованности к оригиналу и обозначили каждую степень числом от 0 до 5 (где, 1 — авторский оригинал, 5 — копия копии, а 0 — предметы, не связанные с Махаевым). Далее для удобной работы текстовые данные были сгруппированы в корпус.
Другой критерий группировки — сюжет. Разметка сюжетов позволяет объединить предметы, созданные с одного оригинала. Предметы группируются, если совпадает перспектива и ключевые объекты. Были выделены 95 уникальных сюжетов, для каждого из которых есть хотя бы один предмет в выборке. Далее предметы группировались по сюжетам на основе изображений (с помощью компьютерного зрения) и текстовых данных (с помощью алгоритмов).

📊 Какие результаты?

Способ группировки (кластеризации) изображений методами компьютерного зрения хуже справляется с поставленной задачей, чем группировка по текстам, но при этом позволяет выявить схожести предметов, которые невозможно выделить при втором методе. Хотя применение таких подходов на всё множество музейных объектов потребует более изощренных методов обработки и анализа данных, предложенные исследователями идеи уже сейчас могут помочь ученым и другим командам.

Более подробно об оценке степени опосредованности оригинала, о том, с какими проблемами ребята столкнулись при разметке сюжетов, и других результатах проекта узнаете из полного текста поста в блоге.