شرکت Unsloth اپ دسکتاپش رو منتشر کرد؛ اولین اپلیکیشنی که هم اجرا و هم فاینتیون مدلها رو کامل لوکال روی سیستم خودت میاره. متنبازه و روی مک، ویندوز و لینوکس کار میکنه.
فایدهش برای کساییه که نمیخوان مدلهاشون به جای دیگهای بره. از MLX و GGUF بگیر تا مدلهای دیفیوژن تصویر/ویدیو و صدا رو پشتیبانی میکنه، و از همه جالبتر اینکه میشه Claude Code و Codex رو به LLMهای محلی وصل کرد. علاوه بر اون یه API سازگار با OpenAI هم داره که مثل یه سرور شخصی، مدلهای محلی و ابری رو در دسترس قرار میده — حتی استقرار از راه دور و دسترسی از هر جا هم براش در نظر گرفتن.
طبق ادعای خودشون، فراخوانی ابزارها (tool calls) ۵۰٪ دقیقتر و خودترمیمشوندهست با اجرای کد توی محیط ایزوله (sandbox)، آموزش مدل هم ۲ برابر سریعتر با ۷۰٪ حافظه VRAM کمتر انجام میشه. جستجوی وب خصوصی، deep research، RAG و MCP هم داخلش هست.
اگه دنبال یه راهحل متنباز برای اجرا و فاینتیون مدلهای لوکال بودی، این یه گزینه جدیه. دانلود و مستنداتش از unsloth.ai و گیتهاب در دسترسه:
- https://github.com/unslothai/unsloth
- https://unsloth.ai/docs/desktop
🛠 Join @LLMEngineers Community
Post #470
1.63K
- ❤ 4
- 👍 4
- 🔥 2