استارتاپ TypeSafe AI بعد از دو سال فعالیت در سکوت کامل خبری، رسماً از مدل متفاوتی به نام Jev رونمایی کرده که رویکرد کاملاً جدیدی رو وارد حوزه اتوماسیون و سیستم‌های نرم‌افزاری می‌کنه.

این شرکت که توسط دیوگو آلمیدا، یکی از سازندگان ChatGPT تاسیس شده، مدلی رو ارائه داده که بر خلاف روندهای مرسوم، یک چت‌بات متنی نیست و در دسته جدیدی به نام «مدل‌های سیستم یک» قرار می‌گیره.

عبارت «سیستم یک» از نظریه دانیل کانمن در کتاب معروف «تفکر، سریع و کُند» الهام گرفته شده. در علوم شناختی، ذهن دو ساختار پردازش داره: سیستم ۱ پردازش سریع، شهودی، خودکار و بدون مکثه که انرژی کمی مصرف می‌کنه. در نقطه مقابل، سیستم ۲ تفکر آرام، استدلالی، گام‌به‌گام و تحلیلیه؛ دقیقاً شبیه کاری که مدل‌های استدلالی جدید (مثل ChatGPT یا Claude) با ساختن زنجیره تفکر طولانی انجام میدن.

سازندگان Jev با حذف استدلال متنی کُند، دقیقاً از مفهوم سیستم ۱ استفاده کردن تا مدلی سریع برای تصمیم‌گیری‌های آنی داشته باشن.

تفاوت بنیادین Jev با مدل‌های زبانی بزرگ متداول اینه که فرآیند تولید توکن‌به‌توکن و کلمه‌به‌کلمه متن رو کاملاً کنار گذاشته تا بتونه تصمیم‌های قطعی، ساختاریافته و دارای ساختار داده معتبر رو برای نرم‌افزارها پردازش کنه.

این مدل وضعیت برنامه رو به عنوان پرامپت دریافت می‌کنه و خروجی‌هاش رو در قالب سه نوع تصمیم‌گیری پایه تحویل سیستم میده:

اول، تصمیم‌های دو‌وجهی یا بله و خیر که با ضریب اطمینان کالیبره‌شده مشخص می‌شن؛ برای مثال مدل بررسی می‌کنه که آیا پیام ورودی کاربر یک پرامپت مخربه یا نه و در کسری از ثانیه فقط مقدار درست یا غلط رو برای جلوگیری از حمله برمی‌گردونه.

دوم، تصمیم‌های چندگزینه‌ای که مدل دقیقاً یکی از شناسه‌های از پیش تعیین‌شده رو انتخاب می‌کنه؛ مثلاً در یک سیستم تیکتینگ، درخواست رو بدون هیچ خطایی دقیقاً به یکی از گزینه‌های امور مالی، پشتیبانی فنی یا بخش ارسال کالا هدایت می‌کنه، بدون اینکه خطایی در ساختار پیش بیاد.

سوم، امتیازدهی آماریه که مدل بر اساس یک مقیاس عددی مشخص، میزان اضطرار یک وظیفه یا باگ رو تخمین می‌زنه و همراه با میزان احتمال تحویل سامانه میده.

در بخش آموزش، سازندگان Jev به جای تکیه بر روش‌های سنتی RLHF، از رویکرد یادگیری تقویتی برای تصمیم‌های کالیبره‌شده موسوم به RLCD استفاده کردن تا نرخ توهم و خطاهای ساختاری به صفر برسه. به همین دلیل سیستم‌های مبتنی بر این مدل با خطای نامعتبر بودن پاسخ‌ها یا کرش کردن کدهای بک‌اند مواجه نمی‌شن.

از نظر کاربرد در صنایع، این معماری تحول زیادی ایجاد می‌کنه. در حوزه ایجنت‌های هوش مصنوعی، Jev به عنوان مغز روتینگ عمل می‌کنه و تصمیم می‌گیره کدوم ابزار در گام بعدی باید اجرا بشه. در حوزه فین‌تک و خدمات مالی، به لطف تأخیر بسیار پایین در حد چند ده تا چند صد میلی‌ثانیه، توانایی غربال آنی تراکنش‌های مشکوک به تقلب رو داره.

در پلتفرم‌های پرمخاطب فروشگاهی و ابری، میتونه میلیون‌ها تیکت و پیام رو به شکل کم‌هزینه دسته‌بندی کنه و در امنیت سایبری هم به عنوان لایه اول تحلیل لاگ‌های فایروال و روتر، هشدارهای جعلی رو از خطرات واقعی جدا می‌کنه.

ساختار هزینه‌ها و منابع Jev هم به دلیل عدم تولید متن، نسبت به کل بازار هوش مصنوعی کاملاً نامتقارن و متفاوته. هزینه توکن‌های ورودی این مدل معادل ۰.۰۴۲ دلار به ازای هر یک میلیون توکن در نظر گرفته شده که بین ۱۰ تا ۵۰ برابر اقتصادی‌تر از مدل‌های متداول تجاریه.

از طرف دیگه، با توجه به اینکه خروجی به صورت داده‌های تصمیم گیری تحویل داده می‌شه، هزینه توکن‌های خروجی کاملاً رایگان تعیین شده.

این مدل با کانتکست ویندوی ۳۲ هزار توکنی، در تسک‌های دسته‌بندی و اتوماسیون بین ۴۰ تا ۲۰۰ برابر سریع‌تر و تا ۴۰۰ برابر کم‌هزینه‌تر از مدل‌های پرچمدار سنتی عمل می‌کنه.

این مدل از حالا در پلتفرم های مختلف از جمله اوپن روتر قابل استفاده هست. از طریق سایت typesafe هم میتونین ثبت‌نام کنید که نیاز به قرارگیری در صف انتظار داره ولی در عوض ۵ دلار کردیت مجانی میده.

به دلیل اینکه نحوه کار با این مدل نسبت به LLMهای متداول متفاوت هست، بهتره این مطلب رو در رابطه با طراحی سیستم برای چنین مدل جدیدی مطالعه کنید.

🔎 Typesafe.ai

📍 @TechTube