‏🚀 معرفی مدل قدرتمند Xing4.0 با معماری MoE

‏شرکت China Telecom مدل جدید Xing4.0-29B-A4B را منتشر کرد. این مدل از نوع Mixture-of-Experts با ۲۹ میلیارد پارامتر است که در هر گام محاسباتی تنها ۴ میلیارد پارامتر را فعال می‌کند.

‏این مدل به طور اختصاصی برای برنامه‌ریزی‌های چندمرحله‌ای، استفاده از ابزارها و کار با محیط ترمینال بهینه شده است. از ویژگی‌های برجسته آن می‌توان به پنجره متنی ۲۵۶ هزار توکنی (با قابلیت گسترش تا ۵۱۲ هزار توکن) اشاره کرد.

‏مهم‌ترین نتایج بنچمارک‌های این مدل:

‏- عملکرد در SWE-bench Verified: کسب امتیاز ۷۵
‏- پیشتازی در Terminal-Bench 2.1 و Claw-Eval
‏- موفقیت در DeepresearchBII

‏در معماری این مدل از تکنیک‌های پیشرفته‌ای همچون mHC، MLA و MTP استفاده شده که منجر به افزایش ۹۶ درصدی نرخ پردازش (Throughput) شده است. این مدل با لایسنس Apache 2.0 در دسترس قرار گرفته و برای کاربردهای پیچیده برنامه‌نویسی و تحلیل داده گزینه‌ای قابل توجه محسوب می‌شود.

بررسی فنی مدل هوش مصنوعی Xing4.0؛ معماری MoE قدرتمند از China Telecom

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما