چند تا مثال کاربردی:
Cost Optimization (کاهش هزینه هوشمند)
پرامپت‌های ساده و روزمره (سلام، FAQ، جستجوی ساده) برن سراغ مدل‌های کوچک و ارزون (یا حتی بدون فراخوانی مدل جواب داده بشن). فقط پرامپت‌های پیچیده و سنگین برن سراغ مدل‌های قوی و گرون. نتیجه؟ هزینه توکن خیلی کمتر می‌شه بدون اینکه کیفیت کلی سیستم افت کنه.
Multi-Agent Specialist
دسته‌بندی‌های مختلفی تعریف کنی:
اگر نیاز به کدنویسی بود: مدل Coder
اگر نیاز به نوشتن داستان یا محتوا بود: مدل Writer
اگر نیاز به تحقیق و تحلیل بود:مدل Researcher
اگر نیاز به بررسی حقوقی بود: مدل Legal
روتر خودش تشخیص می‌ده و پرامپت رو با System Prompt مخصوص همون Agent صدا می‌زنه.
Support Triage با Escalate
تیکت‌های پشتیبانی رو اول از نظر اضطرار و churn risk امتیاز می‌ده. اگر مشتری عصبانی یا در خطر از دست رفتن باشه، مستقیم به اپراتور انسانی یا مدل خیلی قوی escalate می‌شه. در غیر این صورت با مدل ارزون‌تر هندل می‌شه.
Local-First برای داده‌های حساس
هر درخواستی که شامل اطلاعات محرمانه یا PII باشه، فقط روی مدل محلی (Ollama) اجرا می‌شه. بقیه درخواست‌ها می‌تونن برن کلاد. حریم خصوصی حفظ می‌شه و همزمان از قدرت مدل‌های ابری هم استفاده می‌کنی.
Guardrail قبل از پرداخت هزینه
درخواست‌های نامناسب، اسپم یا خارج از حوزه رو قبل از اینکه هیچ LLMی صدا زده بشه، با پاسخ ثابت رد یا هدایت می‌کنه. هم هزینه صرفه‌جویی می‌شه هم کنترل بیشتری داری.
و کلی سناریو دیگه که میتونین با این پروژه بسازین و تو پروژه های مختلف خودتون استفاده کنین
گیتهاب