🚀 سبر مدل متن‌باز GigaChat 3.5 Ultra را منتشر کرد

شرکت Sber نسخه جدید مدل زبانی خود، GigaChat 3.5 Ultra را با مجوز MIT به‌صورت متن‌باز منتشر کرد.

این مدل با ۴۳۲ میلیارد پارامتر، نخستین مدل متن‌باز در این مقیاس است که از معماری ترکیبی GatedDeltaNet و MLA استفاده می‌کند.

نکته جالب اینکه با وجود افزایش عملکرد، این مدل نسبت به GigaChat 3.1 Ultra حدود ۴۰٪ کوچک‌تر شده است.

🔧 مهم‌ترین ویژگی‌های فنی

🔹 معماری اختصاصی MLA + GatedDeltaNet همراه با مکانیزم‌های پایدارسازی که امکان آموزش چنین مدل بزرگی را فراهم کرده‌اند.

🔹 Gated Attention

- کاهش هوشمند تأثیر سیگنال‌های بیش از حد قوی در لایه Attention.

🔹 GatedNorm

- روشی جدید برای نرمال‌سازی که با استفاده از Gate، شدت سیگنال بین ویژگی‌ها را کنترل می‌کند.
- سبر اعلام کرده نخستین شرکتی است که این روش را به‌صورت متن‌باز منتشر می‌کند.

🔹 حدود ۴ برابر کاهش مصرف KV Cache برای هر توکن

- امکان استفاده از ۲.۱۴ برابر کانتکست بیشتر با همان حافظه
- افزایش حدود ۲۰٪ توان پردازش (Throughput)