Сбер выпустил обновлённую версию GigaEmbeddings для поиска по документам и создания RAG-систем 📰

Линейка из трёх моделей разного размера совместима с популярными инструментами для запуска ИИ-моделей vLLM и SGLang и бесплатно доступна разработчикам и бизнесу под открытой лицензией MIT.

По сравнению с прошлым поколением линейка заметно прибавила в качестве и скорости:
➡️ Флагманская модель 10B-A1.8B заняла первое место в рейтинге ruMTEB.
➡️ Модель 3B стала в 1,6 раза быстрее и показала наибольший прирост качества — способность обрабатывать код выросла на 14,5 пункта.
➡️Самая компактная модель 480M стала лучшей на русском языке среди моделей до 500 млн параметров.

Полные результаты тестирования доступны в открытом рейтинге.

Как обучали модели
Команда изменила архитектуру модели, чтобы её было проще внедрять с помощью стандартных открытых инструментов. Объём данных для обучения вырос в несколько раз — в том числе за счёт открытых датасетов Nemotron, F2LLM и KALM, — и это дало основной прирост качества. Баланс языков сохранили за счёт использования мержинга экспертов на всех этапах обучения: так удалось не потерять качество на русском при усилении английского и кода. Самую компактную модель обучили с помощью дистилляции — она усваивает ответы у более крупных и точных моделей.

Забирайте модели в свои проекты по ссылкам:
HF: 480M 3B 10B-A1.8B
Gitverse: 480M 3B 10B-A1.8B

Подробности читайте в посте команды 💻