اگر با مدل‌های زبانی بزرگ (LLM) کار می‌کنید، حتماً با چالش‌هایی مثل هزینه‌های بالای API و تأخیر در پاسخ‌گویی (Latency) روبرو شده‌اید. این پروژه دقیقاً برای حل این مشکلات طراحی شده است.

این پروژه یک سیستم Semantic Caching است که به جای تطبیق دقیق کلمات (Exact Match)، معنای پرسش‌ها را درک می‌کند. به این ترتیب، اگر کاربری سوالی بپرسد که قبلاً مشابه آن با معنای یکسان پاسخ داده شده باشد، پاسخ مستقیماً از حافظه موقت (Cache) بازیابی می‌شود.

امکانات کلیدی:
- پشتیبانی از storage های مختلف: Redis، Elasticsearch، In-Memory
- پشتیبانی از embedding provider های متنوع: OpenAI، Azure، Ollama، ONNX (برای اجرای آفلاین)
- قابلیت multi-tenant برای جداسازی کش کاربران مختلف

https://github.com/Jamalianpour/semantic-llm-cache

@DevTwitter | <Mohammad/>