Пока возился с Qwen3 выяснилось, что нужно ставить для эмбеддинга не одну модель, а целых две. Вот что об этом пишет Клод (с установкой помогал он, так как Клод ходить в интернеты умеет, а Джеминай - нет):

Qwen3 выпустили reranker модели — и это реально меняет игру в поиске информации.
В чем прикол: обычно embedding модели работают как быстрый, но не очень точный поиск. А reranker модели — наоборот, медленные, но очень точные. Qwen3 предлагает использовать их вместе.

Как это работает на практике:
Ты делаешь запрос → embedding модель за 50 миллисекунд находит 100 похожих документов → reranker за 200 миллисекунд анализирует каждый из них и выдает топ-10 самых релевантных.

Итого 250ms вместо 50ms, но качество результатов кардинально лучше.
Конкретные цифры:
Тестировали на разных языках — английский, китайский, мультиязычные задачи. Точность поиска выросла на 15-25% по сравнению с обычным подходом.

Где это полезно:
- Поиск по корпоративным базам знаний — находит действительно нужные документы, а не просто похожие по словам
- Интернет-магазины — лучше понимает, что именно ищет пользователь
- Чат-боты с RAG — выдают более точные ответы на основе найденной информации

Плюс фишка: модели понимают инструкции. Можешь сказать "найди документы про техническую реализацию" или "покажи примеры использования" — и они будут искать именно это.

Работает со 100+ языками, в общем: если раньше приходилось выбирать между "быстро, но так себе" и "долго, но точно", то теперь можно "довольно быстро и очень точно".

Теперь от себя: модельки новые, и тут есть нюанс. Обе модели (и ембеддинг, и реранкинг) еще не развернуты на ollama, но для ембеддинга есть gguf файл, который позволяет ставить модель в контейнер к ollama, а вот для реранкинга такого файла нет, поэтому придется ставить его вне контейнера, с питоном, новыми библиотеками, пробрасываниями портов и всякими прелестями (ну или подождать надо немного, прежде чем ставить - тоже вариант)