🇩🇪🇺🇾🔎 MiniCOIL EN-ES – новая технология многоязычного поиска документов
Немецкая компания Qdrant совместно с уругвайской компанией Pento представила экспериментальную поисковую модель miniCOIL EN-ES, позволяющую находить документы на английском и испанском языках с помощью единого поискового индекса, без предварительного машинного перевода.
Главная особенность – поиск не только по совпадению слов, но и по их значению в контексте, даже если запрос и документ написаны на разных языках.
Например, обычный полнотекстовый поиск BM25 рассматривает английское home и испанское casa как разные слова. miniCOIL связывает их с одним понятием, поэтому английский запрос может найти испаноязычный документ. При этом система учитывает контекст и способна различать несколько значений одного слова.
🔻 Как работает технология:
– Единый словарь понятий. Английские и испанские слова, связанные переводом, объединяются в группы. В экспериментальной модели сформировано 2398 таких понятий.
– Нейросетевой анализ. Для каждого найденного понятия модель рассчитывает восемь числовых признаков, характеризующих значение слова в окружающем тексте. Это помогает отличать, например, английское bat («летучая мышь» или «бита») в зависимости от контекста.
– Сохранение возможностей BM25. Традиционный алгоритм учитывает частоту и редкость слов в документах, а нейросеть дополнительно оценивает соответствие их значений. Слова, отсутствующие в обученном словаре, обрабатываются обычным лексическим поиском.
– Общий поисковый индекс. Документы на двух языках хранятся и обрабатываются в единой системе Qdrant. Для поиска не требуется отдельно переводить каждый запрос.
🔻 Техническая основа.
Используется многоязычная модель multilingual-e5-small с 118 млн параметров. Дополнительные обученные компоненты miniCOIL содержат около 7,4 млн параметров и занимают 29,5 МБ. Для подготовки обучающих примеров применялась Qwen3-Embedding-0.6B, которая при обычном поиске уже не требуется.
📊 Результаты испытаний.
При поиске английских документов по испанским запросам miniCOIL находила нужный фрагмент среди первых 100 результатов в 96,3% случаев, тогда как схема с переводом запроса и последующим BM25 – в 94,9%.
При этом по качеству первой десятки результатов схема с переводом показала преимущество.
⚠️ Разработка пока экспериментальная. Испытания проводились примерно на 7,5 тыс. фрагментов набора mMARCO, причём основная оценка включала только запросы, покрытые обученным словарём. Часть тестовых запросов учитывалась при выборе понятий. Поддерживаются только английский и испанский языки. Код и веса опубликованы под лицензией, разрешающей некоммерческое использование.
🔵 Практическое значение – развитие многоязычных систем поиска и RAG, в которых ИИ-агенты находят сведения в документах на разных языках. Такой подход потенциально позволяет сократить зависимость от машинного перевода и дополнить существующий векторный поиск более точным сопоставлением терминов и их значений.