اگر اینترنت قطع شد، برای هوش مصنوعی چه کنیم؟
واقعیت اینه: ما عادت کردیم هر سوالی داریم بریم سراغ ChatGPT یا Claude. ولی وقتی اینترنت قطعه چه به خاطر فیلترینگ، چه اختلال، چه مسافرت همه چی تعطیل میشه. در حالی که لازم نیست این طوری باشه.
مدلهای زبانی روی کامپیوتر خودتون هم اجرا میشن. بدون اینترنت، بدون سانسور، بدون محدودیت و جالبتر اینکه خیلیهاشون رایگان و متنباز هستن.
مواردی که توی این راهنما پوشش دادم:
- ۷ نرمافزار برای اجرای LLM لوکال با راهنمای نصب هر کدوم (Ollama، LM Studio، llama.cpp و...)
- ۲۱ مدل بررسی شدن با جزئیات کامل: حجم، RAM، VRAM، CPU-only بودن و لایسنس از Phi-3 3.8B برای لپتاپهای معمولی تا Llama 3.1 70B برای سیستمهای حرفهای
- راهنمای سختافزارها با یه سیستم ۸ گیگ RAM هم میشه شروع کرد. توضیح دادم چطور مشخصات سیستم رو چک کنید و بر اساس اون مدل انتخاب کنید
- نکات بهینهسازی و اینکه Quantization چیه، GPU Offloading چطور کار میکنه، چطور سرعت رو چند برابر کنید و ...
خلاصهش اینکه: برای شروع نیاز به سیستم چند هزار دلاری ندارید. همون لپتاپی که الان دارید کافیه. فقط کافیه بدونید از کجا شروع کنید.
لینک کامل مقاله:
https://arioobarzan.com/fa/blog/2/Complete-Guide-to-Running-Local-LLMs-From-Zero-to-Hero
@DevTwitter | <Mohammad Zare/>
Post #12520
7.49K
- 💔 43
- 👎 27
- ❤ 11