اگه بین انتخاب llama.cpp و vLLM برای اجرای لوکال مدل‌ها شک دارین، این مقایسه خیلی کوتاه و کاربردی از IBM که چهار روز پیش آپلود شده تکلیف رو روشن می‌کنه.

اصلی‌ترین تفاوتشون توی هدف و محیط اجراست:

ابزار llama.cpp برای اجرا روی سیستم‌های شخصی، CPU و دیوایس‌های کم‌مصرف عالیه با فشردگی وزن‌ها و فرمت GGUF اجازه می‌ده مدل‌های بزرگ رو حتی روی لپ‌تاپ یا رزبری پای اجرا کنین. ابزارهایی مثل Ollama هم از همین موتور استفاده می‌کنن.

ابزار vLLM برای محیط‌های سروری و پروداکشن ساخته شده. با تکنیک‌هایی مثل PagedAttention برای مدیریت KV cache و بچینگ پیوسته، سرعت سرویس‌دهی به چندین کاربر همزمان رو به شدت بالا می‌بره.

نکته خوب اینه که هر دو ابزار APIهای سازگار با الگوی OpenAI ارائه می‌دن، پس تعویضشون توی کد RAG یا ایجنت‌ها بسیار سادس.

www.youtube.com/watch?v=0ujh7hfutq0

@Linuxor ~ MehdiAllahyari