امروز داشتم معرفی Jev از TypeSafe AI رو می‌خوندم و ایده‌ش جالبه: به‌جای ساختن یه LLM بهتر برای تولید متن، یه مدل ساختن که مستقیم برای تصمیم‌گیری داخل نرم‌افزار طراحی شده.

اصل مسئله‌شون اینه که LLMها برای chat عالی‌ان، ولی توی automation هنوز دردسر دارن: خروجی stringـه، باید parse و validate بشه، latency بالاست و confidence هم همیشه قابل اعتماد نیست.

مدل Jev از یه دسته‌ی جدید به اسم System One Modelsـه. ورودی می‌تونه متن یا state نامرتب باشه، ولی خروجی از قبل type مشخص داره: مثلاً یه category، score، boolean یا چند probability. یعنی مدل قرار نیست چند پاراگراف تولید کنه؛ مستقیم یه تصمیم ساختاریافته تحویل می‌ده.

برای آموزش هم یه روش به اسم RLCD معرفی کردن؛ Reinforcement Learning for Calibrated Decisions. هدف اینه که probabilityهای مدل واقعاً معنی‌دار باشن. یعنی وقتی می‌گه ۹۰٪ مطمئنم، انتظار داری تقریباً در ۹۰٪ موارد مشابه درست باشه.

یه تفاوت مهم دیگه parallel samplingـه. LLM معمولی (autoregressive) توکن به توکن خروجی می‌سازه، ولی Jev چون text generation نداره می‌تونه چند تصمیم رو در یه query با هم تولید کنه. برای چیزهایی مثل scoring، routing، classification و تصمیم‌های real-time این می‌تونه خیلی مهم باشه.

کمپانی TypeSafe ادعا می‌کنه Jev روی System One taskها intelligence مشابه بعضی مدل‌های frontier داره، ولی حدود 40x تا 200x سریع‌تره و latency حدود 70 تا 500 میلی‌ثانیه داره. قیمت input هم $0.042 برای هر یک میلیون توکن اعلام شده.

یه ادعای مهم دیگه هم «no type errors»ـه. چون خروجی از قبل schema مشخص داره، مدل نمی‌تونه یه value خارج از ساختار تعریف‌شده تحویل بده. ولی این رو نباید با «هیچ‌وقت اشتباه نمی‌کنه» قاطی کرد؛ ممکنه خروجی کاملاً type-safe باشه ولی تصمیمش غلط باشه.

https://x.com/CompleteSkeptic/status/2099925682726002904?s=20

https://typesafe.ai/blog/introducing-system-one-models-and-jev

🛠 Join @LLMEngineers Community