‏Janas: Run LLMs larger than RAM by streaming experts from SSD
‏اجرای LLM‌های بزرگ‌تر از RAM با stream کردن expert‌ها از SSD

‏روی یک لپ‌تاپ ۳۲ گیگابایتی، مدل Qwen3-Next-80B با حجم ۴۸ گیگابایت سرعت ۳۷ توکن در ثانیه می‌دهد — در مقابل ۲.۸ توکن در ثانیه‌ی llama.cpp. پروژه‌ی Janas با معماری pure C و رویکرد streaming expert‌ها از SSD، در مقایسه روی ۱۳ مدل با فرمت Q4_K_M از llama.cpp سریع‌تر است.

‏نظر هوش مصنوعی — ⭐ ۸/۱۰
‏🎯 چرا مهمه: اجرای مدل‌های بزرگ بدون GPU گران‌قیمت یا RAM انبوه دیگر یک محدودیت سخت نیست؛ این رویکرد می‌تواند inference محلی را برای توسعه‌دهنده‌های عادی عملی کند.
‏💡 نکته: بازدهی واقعی از معماری MoE می‌آید — به‌جای بارگذاری کل مدل، فقط expert‌های فعال از SSD stream می‌شوند که این ایده در llama.cpp پیاده‌سازی نشده.
‏👥 برای کی: توسعه‌دهنده‌هایی که می‌خواهند LLM‌های بزرگ را روی سخت‌افزار معمولی اجرا کنند.

‏🔗 https://github.com/prabanta-dev/janas
‏#ai #LLM #inference

‏@BenFeed