این پروژه رو بعد از معرفی مدل‌های Decider مثل Jev و Laya شروع کردم و الان به صورت اوپن‌سورس تو گیتهاب در دسترسه.
ایده اصلی
با مدل‌هایی مثل Jev و Laya به عنوان Decider Model می‌شه قبل از ارسال درخواست به LLM اصلی، درخواست رو تحلیل و کلاس‌بندی کرد و باعث کاهش هزینه بشه
یعنی می‌تونیم برای هر Request سیگنال‌ها و Classificationهای مختلفی داشته باشیم؛ مثلاً:
▫️ نوع درخواست
▫️ میزان پیچیدگی
▫️ حساسیت داده
▫️درخواست با کدوم Agent پردازش بشه
نسبت به نیازت می‌تونی هم در سطح Decider و هم در سطح LLM انتخاب کنی که مدل Local (مثل Ollama) باشه یا مدل کلاد (OpenAI، Claude، Gemini و ...). یعنی کاملاً کنترل داری که داده‌های حساس فقط روی مدل محلی بمونن و بقیه برن کلاد.
معماری و دسترسی
سرویس هم به صورت API (کاملاً سازگار با OpenAI SDK) و هم به صورت GUI در دسترسه. از طریق رابط گرافیکی می‌تونی روترها رو با زبان طبیعی تعریف کنی، تست کنی و لاگ‌ها رو ببینی.
در مور کاربردهای خفن پروژه در ادامه میگم...
گیتهاب
لطفا با ⭐️ گیتهاب از این پروژه اوپن سورس حمایت کنین