اینش هیچی
معماریش خیلی جالبه
با 308B پارامتر در حد یک مدل بزرگه.
یک ترنسفورمر با معماری اسپارس MoE که برای کانتکست ۱ میلیون توکنی، بهجای فول اتنشن از معماری هیبریدی 48 لایهای که 39 لایه SWA لوکال داره و 9 لایه دیپ سیک اسپارش اتنشن
واقعا جالبه!
عملا داره چالش Kv Cache طولانی رو توی مدلها حل میکنه.
Post #4234
18
بازه باز فقط api نداده، ولی طبق تستهای داخلی خودشون توی کد از qwen 3.8 max بهتر بوده. توی مسائل تحقیقاتی نزدیک اپوس 4.7 و gpt sol هرچند تستهای داخلی ارزشی ندارن.
- 👍 1