‏🚀 انتشار مدل قدرتمند Alice AI توسط یاندکس

‏تیم یاندکس به تازگی مدل Alice AI-T5-35B-A0.6B را به صورت متن‌باز منتشر کرده است. این مدل که در موتور جستجوی یاندکس برای پاسخ‌دهی سریع استفاده می‌شود، با معماری نوآورانه Encoder-Decoder و ترکیب تکنولوژی MoE توانسته است عملکردی خیره‌کننده ثبت کند.

‏از مهم‌ترین نکات فنی این مدل می‌توان به موارد زیر اشاره کرد:

‏• معماری خاص: این مدل با استفاده از ترکیب انکودر-دیکودر و MoE، کارایی مدل‌های ۳۵ میلیارد پارامتری را با هزینه محاسباتی مدل‌های ۰.۶ میلیاردی فراهم می‌کند.
‏• بهینه‌سازی контекست: استفاده از یک مدل اختصاصی کوچک برای فیلتر کردن توکن‌های غیرضروری و کاهش بار پردازشی.
‏• آموزش RLHF بدون دخالت مستقیم انسان: مدل بر اساس تحلیل خودکار بازخوردهای واقعی کاربران در محیط جستجو بهینه‌سازی شده است.
‏• نتایج عملیاتی: بهبود ۰.۳۴ درصدی در معیارهای محصولی و برتری ۵۶.۷ درصدی در مقایسه‌های Side-by-Side نسبت به Google AI Overview.

معرفی Alice AI T5-35B-A0.6B: مدل متن‌باز یاندکس با معماری نوآورانه