‏Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s
‏اجرای Qwen 3.8 Flash Next روی سخت‌افزار معمولی با سرعت ۱۰۰ توکن در ثانیه

‏نصب تک‌کلیکی Qwen3.8-Flash-Next روی Windows و Linux با موتور inference به نام Strata؛ پشتیبانی از API سازگار با OpenAI و Anthropic به‌صورت localhost، به‌علاوه‌ی قابلیت اختیاری برای ورودی تصویر.

‏نظر هوش مصنوعی — ⭐ ۷/۱۰
‏🎯 چرا مهمه: اجرای یک مدل ۱۲۵ میلیارد پارامتری با سرعت قابل‌قبول روی یک RTX 4090 معمولی، مرز بین سخت‌افزار consumer و مدل‌های بزرگ را جابه‌جا می‌کند.
‏💡 نکته: سازگاری با API مربوط به OpenAI و Anthropic یعنی می‌توانید بدون تغییر کد، مدل local را جایگزین سرویس‌های ابری کنید.
‏👥 برای کی: توسعه‌دهنده‌هایی که می‌خواهند inference محلی و کم‌هزینه داشته باشند یا روی privacy-sensitive app کار می‌کنند.

‏🔗 https://github.com/Niko1221/Strata
‏#ai #LLM #inference

‏@BenFeed