Разработчики GigaChat выложили в open source обновлённую линейку GigaEmbeddings — от компактной модели 480M для высоконагруженного поиска и рабочего стандарта 3B до нового MoE-флагмана 10B-A1.8B.

Главное в релизе:

• GigaEmbeddings 10B-A1.8B — новый флагман и топ-1 в ruMTEB
• Большой прирост качества на английском и особенно в задачах с кодом
• Поддержка vLLM и SGLang
• Три размера модели под разные требования к скорости и качеству
• Более быстрый батчевый инференс

GigaEmbeddings 10B-A1.8B — MoE-модель с 10B общих и всего 1.8B активных параметров. Она превосходит новую 3B по качеству на всех бенчмарках и при этом быстрее неё на батчевом инференсе.

На vLLM флагман в 1,44–1,61 раза быстрее Qwen3 Embedding 4B. На последовательностях длиной 512 преимущество достигает 61%: 112,6k против 70,1k токенов/с.

Результаты

Главный прирост — в задачах с кодом: новая 3B набирает 76,93 против 62,37 у прошлого релиза, а флагманская 10B-A1.8B — 78,40. На русском флагман достигает 74,99 и занимает первое место в ruMTEB.

Что изменили в обучении

В несколько раз увеличили объём данных на этапах contrastive pretrain и fine-tuning, в том числе за счёт открытых датасетов Nemotron, F2LLM и KALM.

Чтобы улучшение английского и кода не привело к просадке на русском, использовали мержинг моделей с помощью SLERP. Он помог сохранить баланс между языками и классами задач.

Компактную GigaEmbeddings 480M дополнительно обучили с помощью дистилляции от топовых моделей: передавали распределения cosine similarity внутри батча через KL divergence.

В результате новая линейка стала качественнее, быстрее и удобнее для production. Все модели доступны в open source.

HF: 480M 3B 10B-A1.8B