Qdrant предлагают новый подход в мультиязычном поиске

🔎 Qdrant и Pento показали miniCOIL EN-ES, экспериментальный поиск по английским и испанским текстам. Запрос на одном языке находит документы на другом через единый индекс, без отдельного перевода запроса.

🧩 Авторы объединили слова из словаря переводов в общие понятия. Английское и испанское названия дома занимают один участок поискового вектора. Каждое понятие получает восемь чисел, которые описывают его смысл в контексте: так модель учится различать разные значения одного слова. BM25 учитывает частоту и редкость, а нейросеть добавляет смысл; слова вне словаря обрабатывает обычный BM25.

🧠 Авторы развивают идею COIL, который сопоставлял контекстные представления одинаковых слов. Теперь через словарь можно связать слова разных языков. Небольшие обучаемые слои работают поверх многоязычной модели E5, а примеры для обучения подбирает Qwen3-Embedding.

📊 В тесте с испанскими запросами и английскими документами нужный фрагмент попадал в первые 100 результатов в 96,3% случаев, у перевода запроса с последующим BM25 было 94,9%. При этом первые десять результатов схема с переводом ранжировала лучше.

⚠️ Проверка ограничена примерно 7,5 тыс. фрагментов mMARCO и запросами, покрытыми обученным словарём. Документация уточняет, что при выборе понятий учитывали тексты части тестовых запросов. Результаты пока характеризуют этот ограниченный эксперимент.

💼 Подход интересен для многоязычного RAG, где документы хранятся на разных языках. Сейчас поддерживаются только английский и испанский, а код и веса опубликованы под CC BY-NC 4.0, только для некоммерческого использования.

📎 Модель · Методика проверки

Практический следующий шаг для авторов: расширить словарь и проверить поиск на новых запросах и реальных документах.

#Qdrant #miniCOIL #BM25 #RAG
———
@tsingular