اگه با LLMها کار کرده باشی، احتمالاً با این مشکل برخوردی از مدل می‌خوای یه JSON مشخص برگردونه، ولی مدل ممکنه ساختار رو خراب کنه یا مقداری خارج از چیزی که خواستی بده. TypeLLM اومده این مشکل رو از ریشه حل کنه؛ به‌جای اینکه فقط خروجی رو بعداً validate کنه، موقع تولید جواب، فضای انتخاب مدل رو محدود می‌کنه.

مثلاً اگه بگی مقدار type فقط می‌تونه billing ،technical یا account باشه، مدل عملاً فقط اجازه داره یکی از همین گزینه‌ها رو انتخاب کنه. یعنی به‌جای اینکه مدل آزادانه متن تولید کنه و بعد امیدوار باشیم JSON درست باشه، decoding از همون اول با schema هماهنگ می‌شه.

جالب‌تر اینکه TypeLLM برای این کار از constrained decoding و token probabilities استفاده می‌کنه و کنار SGLang و مدل‌های open-source اجرا می‌شه. حتی می‌تونه بخش reasoning رو آزاد بذاره و فقط موقع تولید جواب نهایی، محدودیت schema رو اعمال کنه؛ یعنی thinking آزاد، خروجی نهایی type-safe.

github.com/TypeLLM/TypeLLM


@Linuxor