Мы обновили всю линейку GigaEmbeddings и выкладываем в open source сразу три модели — 480M, 3B и 10B-A1.8B. Они стали сильнее на английском языке и особенно в задачах с кодом, получили поддержку vLLM и SGLang и подходят для разных требований к качеству и производительности.
Что внутри:
🔘GigaEmbeddings 10B-A1.8B — новый MoE-флагман с 10B общих и всего 1.8B активных параметров;
🔘GigaEmbeddings 3B — универсальная модель с большим приростом на английском языке и в задачах с кодом;
🔘 GigaEmbeddings 480M — компактная модель для высоконагруженного поиска и сценариев, где особенно важны скорость и стоимость инференса;
🔘 Поддержка vLLM и SGLang для быстрого запуска моделей в production.
Результаты:
🔘 GigaEmbeddings 10B-A1.8B набирает 74,99 в ruMTEB и занимает первое место в рейтинге;
🔘 Особенно заметно выросло качество на задачах с кодом: новая 3B набирает 76,93 против 62,37 у предыдущего релиза, а на engMTEB занимает 2 место среди моделей своего размера или меньше;
🔘 На vLLM наш MoE-флагман в 1,5 раза быстрее Qwen3 Embedding 4B.
Результаты тестирования доступны в открытом рейтинге.
Что изменили в обучении:
🔘В несколько раз увеличили объём данных на этапах contrastive pretrain и fine-tuning.
🔘Чтобы сохранить баланс между языками и классами задач, мы использовали мержинг моделей с помощью SLERP на всех этапах обучения.
🔘480M дополнительно обучили через дистилляцию от более сильных моделей: передавали распределения cosine similarity внутри батча с помощью KL divergence.
💡 В результате получилась линейка для разных сценариев: от компактной модели для высоконагруженных систем до MoE-флагмана, который одновременно повышает качество и ускоряет инференс.
В ближайшее время также выложим на GitHub подробный гайд по дообучению наших моделей — расскажем о подходах и инструментах, которые использовали в процессе обучения.
➡️ Hugging Face: 480M | 3B | 10B-A1.8B
➡️ GitVerse: 480M | 3B | 10B-A1.8B