حتما میدونین که LLMهای Autoregressive خروجی رو توکن به توکن تولید می‌کنن این برای Reasoning، Coding و Generation عالیه، ولی برای تصمیم‌هایی مثل این که :
▫️درخواست به کدوم Agent بره؟
▫️از بین این ۵ ابزار کدوم انتخاب بشه؟ یا کدوم جواب بهتره؟
عملاً زیادی سنگینه اما Jev در خروجی می‌تونه مستقیماً یک مقدار Typed مثل
billing باشه، نه یک متن که بعداً مجبور باشیم Parseش کنیم.از نظر معماری، این تفاوت مهمه چون Jev خروجی رو به‌صورت Parallel تولید می‌کنه، نه Token-by-Token. طبق اطلاعات متن، TypeSafe برای Jev حدود 70–500ms End-to-End Latency و هزینه حدود $0.042 به ازای یک میلیون Input Token گزارش کرده و ادعا می‌کنه برای Queryهای مشابه، می‌تونه نسبت به Frontier LLMها حدود 40 تا 200 برابر Latency کمتر داشته باشه.
همچنین با RLCD (Reinforcement Learning for Calibrated Decisions) تلاش شده Confidence مدل معنادار باشه؛ مثلاً سیستم بین یک تصمیم با Confidence=
0.99 و 0.52 تفاوت بذاره و موارد نامطمئن رو به یک LLM قوی‌تر یا Human Reviewer منتقل کنه.یک نکته فنی مهم هم اینه که Jev جلوی اشتباه تصمیم‌گیری رو نمی‌گیره، جلوی اشتباه در Format خروجی رو می‌گیره. چون خروجی به Schema محدود شده، مدل نمی‌تونه وسط پاسخ چیز نامرتبط تولید کنه؛ ولی اگر کاندیدهای اشتباه بهش بدی، طبیعتاً نمی‌تونه گزینه‌ای خارج از اون‌ها انتخاب کنه. بنابراین طراحی Candidate Space خودش بخشی از مهندسی سیستم محسوب میشه.
حالا Laya چی میگه؟ Laya یک Open-source System One-style Model با حدود 421M Parameters هست که بر پایه ModernBERT + Decision Head ساخته شده. State و Typed Question رو می‌گیره و گزینه‌ها رو در یک Single Forward Pass Score می‌کنه. نکته جذابش اینه که می‌تونه به‌عنوان یک Decision Layer در معماری‌هایی که برای Jev طراحی شدن قرار بگیره. طبق متن، توسعه‌دهندگان Laya حدود 33ms inference روی Tesla T4 گزارش کردن البته این عدد مستقیماً با End-to-End Latency سرویس Jev قابل مقایسه نیست.
پس ایده اصلی این نیست که «یک مدل جدید جای GPT رو می‌گیره»؛ ایده اینه که دیگه مجبور نباشیم برای هر عملیات هوشمند، یک General-purpose LLM رو اجرا کنیم. با ترکیب Rules + Decision Models + Generative Models میشه AI Systemهایی ساخت که هم سریع‌تر، ارزان‌تر و قابل‌کنترل‌تر باشن و هم LLMهای بزرگ فقط جایی استفاده بشن که واقعاً به Reasoning و Generation نیاز داریم.
@silicon_brain | از هوش مصنوعی عقب نمانید