در آخرین مقاله خبرنامه Substack، به سراغ مدلی رفتم که این روزها سر و صدای زیادی در جامعه هوش مصنوعی به پا کرده است: مدل Jev از استارتاپ TypeSafe AI (توسط یکی از نویسندگان اصلی مقاله معروف InstructGPT).

مدل Jev اساساً یک مدل گفتگو یا چت‌بات نیست؛ نه مقاله می‌نویسد و نه با شما چت می‌کند! این مدل به عنوان یک «سیستم ۱» (System 1) طراحی شده تا به جای تولید رشته‌های متنی و دست و پنجه نرم کردن با خطاهای JSON در برنامه‌نویسی، در کمتر از ۱۰۰ میلی‌ثانیه تصمیمات ساختاریافته، Type-Safe و کالیبره‌شده برای نرم‌افزارها بگیرد.

در این مقاله مفصل بررسی کردم:

🔹 چرا تولید متنی JSON در پروداکشن دردسرساز است؟ از توهم در ساختار کلیدها (Schema Drift) گرفته تا اتلاف منابع پردازشی با تولید تک‌تک توکن‌ها به صورت اتورگرسیو.

🔹 بنچمارک عملی روی اپل سیلیکون: مدل Jev را در برابر روش Parallel Constrained Decoding روی مک‌بوک و روش سنتی Autoregressive مقایسه و بنچمارک کردم که نشان داد ارزیابی موازی بیش از ۳ برابر سریع‌تر است و رفت‌وبرگشت‌های فوروارد را تا ۹۶.۸٪ کاهش می‌دهد بدون این که هیچ خطایی در اسکیما رخ دهد.

🔹 معماری دوسطحی آینده: تقسیم کار هوش مصنوعی به موتورهای استنتاج سنگین و کند (System 2 مانند o3 یا Claude 3.7) برای حل مسائل پیچیده، و مدل‌های فوق سریع و ارزان (System 1) برای روتینگ، گاردریل‌ها و شرط‌های نرم‌افزاری.

🔹 کاربردهای عملی: از فشرده‌سازی تاریخچه بدون از دست رفتن داده‌ها در ایجنت‌های کدنویسی تا کنترل زنده بازی DOOM با حلقه‌های ۱۰۰ میلی‌ثانیه‌ای.

متن کامل مقاله و نتایج بنچمارک‌ها:
https://mlnotes.substack.com/p/the-ai-model-that-wont-talk-to-you