GigaChat dasturchilari GigaEmbeddings-ning yangilangan liniyasini open source-ga chiqardi. Yuqori yuklamali qidiruv tizimlari uchun mo‘ljallangan ixcham 480M modelidan tortib, asosiy ish standarti 3B va yangi MoE-flagman 10B-A1.8B-gacha.
 
Relizning eng muhim yangiliklari:
 
• GigaEmbeddings 10B-A1.8B — yangi flagman va ruMTEB-da 1-o‘rin.
• Ingliz tilida va ayniqsa kod bilan ishlash masalalarida sifatning keskin oshishi.
• vLLM va SGLang qo‘llab-quvvatlashi.
• Tezlik va sifatga qo‘yiladigan talablarga qarab modelning uch xil o‘lchami.
• Batch inference-ning tezlashishi.
 
GigaEmbeddings 10B-A1.8B — 10B umumiy va atigi 1.8B faol parametrlarga ega MoE-model. U barcha benchmarklarda yangi 3B-dan sifati bo‘yicha ustun, shu bilan birga batch inference-da undan ancha tezroq ishlaydi.
 
vLLM-da flagman Qwen3 Embedding 4B-dan 1,44–1,61 barobar tezroq. 512 uzunlikdagi ketma-ketliklarda ustunlik 61% ga yetadi: sekundiga 112,6k token 70,1k-ga qarshi.
 
Natijalar
 
Eng katta o‘sish kod bilan ishlash masalalarida: yangi 3B 76,93 ball to‘pladi (oldingi relizda 62,37 edi), flagman 10B-A1.8B esa — 78,40. Rus tilida flagman 74,99 ko‘rsatkichga erishib, ruMTEB-da birinchi o‘rinni egalladi.
 
O‘qitish jarayonida nima o‘zgardi?
 
Contrastive pretrain va fine-tuning bosqichlarida ma'lumotlar hajmini bir necha barobar oshirilgan, jumladan Nemotron, F2LLM va KALM ochiq datasetlari qo’shilgan.
 
Ingliz tili va koddagi yaxshilanish rus tilidagi sifatning tushib ketishiga olib kelmasligi uchun modellarni SLERP yordamida merging qilingan. Bu tillar va masalalar sinflari o‘rtasidagi balansni saqlashga yordam berdi.
 
Ixcham GigaEmbeddings 480M-ni top modellardan distillyatsiya orqali qo‘shimcha o‘qitdik: batch ichidagi cosine similarity taqsimotlarini KL divergence orqali uzatilgan.
 
Natijada yangi liniya sifatliroq, tezroq va production uchun ancha qulay bo‘ldi. Barcha modellar open source’da mavjud.
 
HF: 480M 3B 10B-A1.8B