Интерпретируемые текстовые эмбеддинги

Типичная модель для текстовых эмбеддингов считает близкими предложения типа "Два человека поют" и "Три человека поют". Это конечно верно для некоторых приложений, но, например, для оценки правдивости это совсем не так. Квантификаторы (все, некоторые, никто, ...), отрицания, числительные, собственные имена - здесь критически важны.

Авторы предложили обучать эмбеддинги через декомпозицию на интерпретируемые признаки (и неинтерпретируемый residual). В итоге можно вычислять близость текстов как по понятным аспектам, так и в целом. На рисунке 1 результат модели на примере "Два человека поют" и "Три человека поют" (в твиттер посте их ещё больше)

Как они это сделали?

Есть всякие меры близости текстов, которые используют парсеры предложений и последующее сравнение получившихся семантических графов. Они медленные и качество в целом не на уровне нейросетевых моделей близости. Авторы предложили взять 15 таких интерпретируемых функций и разделить финальный эмбеддинг на 16 частей: 15 под каждый из аспектов и 1 для всего остального, что осталось не представленно. Каждую аспектную часть они обучают приближать соответствующий долговычислимый graph-based признак (Score Decomposition), а в residual дистиллируют обычный sentence transformer (Score Consistency)

В итоге получается модель, эмбеддинги которой и быстро вычисляются, и могут быть интерпретируемы, и без просадки в качестве (рисунок 2)


Код для обучения, инференса и веса модели выложены на гитхаб 👍
Статья с ACL: Decomposing Sentence Embeddings into Explainable Semantic Features
Twitter post