‏Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
‏اجرای Qwen3-27B روی Neural Engine آیفون ۱۸ با سرعت ۱۵ تا ۷۰ توکن در ثانیه

‏اجرای مدل Qwen3 با context طول ۲۴ هزار توکن روی آیفون تأیید شد — هر دو K/V cache روی int8 و Delta net روی FP16 می‌مانند. سرعت decoding در context‌های قابل پیش‌بینی به ۷۰ tok/s می‌رسد. Neural Engine تراشه‌ی A20 واقعاً سریع است.

‏نظر هوش مصنوعی — ⭐ ۸/۱۰
‏🎯 چرا مهمه: اجرای یک مدل ۲۷ میلیارد پارامتری با کوانتیزاسیون ۱.۵ bpw روی گوشی و رسیدن به سرعت ۷۰ tok/s نشان می‌دهد مرز on-device inference دارد جدی می‌شود.
‏💡 نکته: ترکیب int8 برای K/V و نگه‌داشتن Delta net روی FP16 یک راه‌حل عملی برای تعادل بین حافظه و دقت است که ارزش بررسی دارد.
‏👥 برای کی: توسعه‌دهنده‌هایی که روی on-device inference، mobile ML یا بهینه‌سازی مدل‌های بزرگ کار می‌کنند.

‏🔗 https://twitter.com/anemll/status/2111517143087067309
‏#ai #LLM #inference

‏@BenFeed