در جدیدترین مقاله‌ام در ساب‌استک، به سراغ معماری مدل Jev از شرکت TypeSafe AI که این روزها سر و صدای زیادی در جامعه هوش مصنوعی به پا کرده است و ایده مدل‌های System 1 رفتم؛ کلاسی از مدل‌ها که چت‌بات نیستند و متنی تولید نمی‌کنند، بلکه برای تصمیم‌گیری ساختاریافته و تایپ‌سیف در نرم‌افزار ساخته شده‌اند.

در پروداکشن، تولید رشته‌های JSON با مدل‌های متنی مرسوم چند مشکل اساسی دارد: تاخیر چند ثانیه‌ای ناشی از تولید تک‌تک توکن‌ها، مصرف بیهوده حافظه گرافیکی، و مهم‌تر از همه احتمال خطا و توهم در ساختار کلیدها (Schema Drift).

برای بررسی این ادعا، یک بنچمارک با ۵۰ پرامپت چالش‌برانگیز روی اپل سیلیکون اجرا کردم و خروجی Jev را در برابر Parallel Constrained Decoding و حالت سنتی Autoregressive مقایسه کردم. نتایج نشان داد ارزیابی موازی بیش از ۳ برابر سریع‌تر است و رفت‌وبرگشت‌های فوروارد را ۹۶.۸ درصد کم می‌کند، آن هم با صفر درصد خطای اسکیما.

به نظر می‌رسد آینده معماری نرم‌افزار به سمت دو لایه مشخص می‌رود: مدل‌های سنگین و تحلیلی (System 2) برای استدلال‌های پیچیده، و میکروسرویس‌های فوق سریع و ارزان (System 1) برای روتینگ، گاردریل‌ها و فشرده‌سازی کانتکست ایجنت‌ها.

متن کامل تحلیل و جزییات بنچمارک:
https://mlnotes.substack.com/p/the-ai-model-that-wont-talk-to-you
تمام کدها و اسکریپت ها به همراه ارزیابی را گذاشتم توی گیتهاب:
https://github.com/mallahyari/system-one-benchmark

@DevTwitter | <Mehdi Allahyari/>