اپلیکیشن Jan یه رابط کاربری دسکتاپه برای اجرای llm ها که هم آفلاین کار می‌کنه و هم به سرویس‌های ابری وصل می‌شه. کاربرد اصلیش اینه که بهت اجازه می‌ده بدون نگرانی بابت حریم خصوصی، مدل‌های زبانی بزرگ رو روی سیستم شخصی خودت اجرا کنی. اخیراً هم یه قابلیت مهم بهش اضافه شده که می‌شه با اکانت Hugging Face PRO مدل‌ها رو مستقیم داخلش اجرا کرد. کل کدبیسش هم کاملاً اوپن‌سورسه و می‌شه اون رو تغییر داد یا خودتون هاست کنین.

برگ برنده‌اش قابلیت سوییچ یکپارچه بین مدل‌های محلی و ابریه. Jan به شما اجازه می‌ده توی یک محیط چت، هم مدل‌های GGUF رو با llama.cpp به صورت آفلاین اجرا کنین و هم به APIهای کلاد مثل OpenAI، Groq و Mistral وصل بشین. مهم‌تر اینکه، API سرور محلیش (روی localhost:1337) می‌تونه ترافیک رو به صورت شفاف بین یه مدل لوکال Llama 3 و یه مدل ابری مثل GPT-4o جابجا کنه. این یعنی کدی که برای توسعه می‌زنین، بدون هیچ تغییری می‌تونه از هر دو مدل استفاده کنه.

دانلود

🛠 Join @LLMEngineers Community