وقتی هوش مصنوعی باید سریع تصمیم بگیره

مدل Jev رو شرکت TypeSafe ساخته و خودشون می‌گن اولین مدل «سیستم یک» (System One) تو دنیاست. ایده‌ش از نظریه دنیل کانمن میاد. کانمن تو کتاب «تفکر، سریع و کند» می‌گه ذهن آدم دو جور کار می‌کنه: سیستم یک که سریع و شهودیه، و سیستم دو که کند و تحلیلیه. LLMها بیشتر به «سیستم دو» نزدیکن؛ متن تولید می‌کنن و تحلیلی و کند فکر می‌کنن. Jev برای تصمیم‌های لحظه‌ای و غریزی ساخته شده و عملا یه موتور تصمیم‌گیری یا طبقه‌بندی‌کننده‌ست.
ورودیش پرامپت نیست، «وضعیت» (State) داده‌هاست. از این وضعیت می‌شه چند تا سوال پرسید که بهشون می‌گن Typed Question. تو این سوال‌ها شکل جواب از قبل مشخصه؛ مثلا ممکنه یه عدد بین ۰ تا ۱ باشه، یا یکی از چند گزینه مشخص، یا یه مقدار بولین. برای همین Jev انشا نمی‌نویسه و فقط یه جواب مشخص و ساختاریافته برمی‌گردونه. کد هم می‌تونه همین جواب رو بدون هیچ پردازشی مستقیم تو if و switch به کار بگیره.
تایپ‌سیف می‌گه Jev از LLMهای سنتی ۲۰ تا ۲۰۰ برابر سریع‌تر و ۴۰ تا ۴۰۰ برابر ارزون‌تره. سه تا قابلیت پایه داره. Choice برای انتخاب از یه لیسته، Score بر اساس یه شاخص امتیاز می‌ده و Noul احتمال درست بودن یه گزاره رو با عددی بین ۰ تا ۱ بیان می‌کنه.
همه‌ی سوال‌ها موازی پردازش می‌شن، پس اگه سوال بیشتری اضافه کنی، زمان جواب تقریبا تغییری نمی‌کنه. خروجی هم داده‌ی ساختاریافته‌ست و سطح اطمینان همراهشه. دیگه لازم نیست متن پردازش بشه یا واسه خطای فرمت JSON بلوک try-catch نوشت.
تو یه پروژه‌ی واقعی بهترین جای Jev قبل از مدل‌های گرون‌تره، به عنوان لایه‌ی غربالگری یا Gatekeeper. مثلا تو صف پشتیبانی می‌تونه قبل از اینکه تیکت به دست آدم برسه تشخیص بده کاربر درخواست لغو سفارش داده یا برگشت پول، و چقدر عصبانیه.
برای مسیریابی مدل‌ها هم می‌شه سوال‌های ساده رو به مدل ارزون سپرد و موارد سنگین‌تر رو فرستاد سراغ مدل قوی. تو فراخوانی ابزار، فهمیدن اینکه کاربر آب‌وهوا می‌خواد و درآوردن اسم شهر از متن بدون اینکه LLM وقت تلف کنه انجام می‌شه. تطبیق ادعاهای خروجی LLM با منبع اصلی هم یکی دیگه از کاربردهاشه. تو بررسی کامیت‌ها هم می‌شه ازش برای ارزیابی پیچیدگی و ریسک امنیتی تغییرات کد استفاده کرد.
جواب‌ها تو حد میلی‌ثانیه می‌رسن و از اون توهم‌های معروف LLMها خبری نیست. در نهایت، منطق برنامه و هوش مصنوعی راحت‌تر کنار هم کار می‌کنن و رفتار سیستم قطعی‌تر می‌شه.

https://docs.typesafe.ai/introduction

@DevTwitter | <Amin Mahmudian/>