‏42x faster prompt lookup drafting in llama.cpp
‏سرعت‌بخشی ۴۲ برابری به prompt lookup drafting در llama.cpp

‏چهار تغییر در n-gram cache های llama.cpp باعث شده drafting برای prompt lookup decoding تا ۴۱.۶ برابر سریع‌تر، بارگذاری static cache تا ۲۳.۵ برابر سریع‌تر، و peak memory تا ۲.۶۵ برابر کمتر بشه.

‏نظر هوش مصنوعی — ⭐ ۷/۱۰
‏🎯 چرا مهمه: بهینه‌سازی inference بدون تغییر مدل یا سخت‌افزار، مستقیماً روی latency و هزینه‌ی اجرای local LLM تأثیر می‌ذاره.
‏💡 نکته: بهبودهای این‌چنینی در لایه‌ی caching معمولاً در مقالات بزرگ دیده نمی‌شن ولی در عمل بیشترین تأثیر رو دارن.
‏👥 برای کی: کسانی که روی inference بهینه، edge deployment یا llama.cpp کار می‌کنن.

‏🔗 https://jadidbourbaki.github.io/blog/prompt-lookup-llama-cpp/
‏#ai #LLM

‏@BenFeed