ИИ видит черепок, археолог – историю: почему нейросети и ученые ссорятся о сходстве

Чем руководствуется человек, сопоставляя два объекта? А как их видит компьютер и может ли сравнить настолько же эффективно? А если речь идет не об обычных предметах, а о находках археологов? С тем, как устроены представления человека и компьютера о сходстве предметов, в новом тексте разбирается наш блогер Олег Лашманов.

Как мы обнаруживаем сходства

Эволюция устроила нас так, что мы воспринимаем вещь не только визуально. Мы связываем её с целым набором ощущений: тяжестью, фактурой, мягкостью, запахом, звуками окружающей среды. Всё это — часть образа, и всё это влияет на то, насколько один предмет кажется нам «похожим» на другой. 

Археологи идут еще дальше: у них есть не только физические признаки находки — форма, материал и текстура, — но и опосредованные признаки: контекст и интерпретация. И поскольку аттрибуция артефактов — неочевидная и каждый раз уникальная задача, в ней могла бы пригодиться помощь цифровых технологий. Правда, проблема в том, что компьютер, в отличие от человека, располагает лишь изображением объекта (или несколькими) и, возможно, текстовым описанием. На этом всё. 

Как обучить нейросеть, чтобы она помогла археологу

Первый подход — использовать предобученные сверточные нейросети, например ResNet. Эти сети хорошо улавливают геометрические особенности: углы, точки, общие очертания. Однако, как видно из требований археологии, этого часто недостаточно — форма предмета далеко не всегда определяет его культурную принадлежность.

Второй подход — использовать мультимодальные модели, такие как CLIP, которые обучаются на парах «изображение — текст». Такой метод позволяет выучить семантическое представление об объекте, что гораздо ближе к задачам археолога. Тем не менее, даже этот подход не способен заменить человека, который может взять предмет в руки, оценить его вес, фактуру, запах — или, как шутят археологи, даже попробовать на вкус.

Пути решения

Сейчас к изображениям фрагментов добавляют метаданные — такие, как место находки или материал — и дообучают модели на текстовых описаниях вроде «колесничный комплекс», уточняя и дополняя формулировки. Но даже этого недостаточно.

Такие меры не передают глубокие семантические связи, которые выстраивает археолог: технологии производства, миграции ремесленников, ритуальные функции. Без этих связей ИИ остаётся «слепым картографом», рисующим карты без понимания легенды.
Так что пока никакой магии — только археологи способны справляться с задачей атрибуции артефактов. Но мы стараемся создать инструменты, которые облегчат этот процесс.

Если вам интересно поучаствовать в решении настоящих археологических задач — присоединяйтесь к проекту на SIMILIS.IO. А если хочется узнать больше о цифровых помощниках в археологии, переходите к полной версии текста.

🤖 «Системный Блокъ» @sysblok