دیپ سیک با انتشار V4.1-Flash یک نکته‌ی مهم درباره‌ی اقتصاد LLMها نشون داده:
تعداد Parameterها به‌تنهایی معیار خوبی برای هزینه‌ی Inference نیست
مدل V4.1-Flash یک 552B MoE Model هست، تقریباً دو برابر V4-Flash، اما با معماری‌های جدید، مصرف KV Cache رو تا حدود ۴ برابر بهینه‌تر کرده. در هر Input Token فقط حدود 8B Active Parameters و در هر Output Token حدود 16B فعال میشه. یعنی لازم نیست کل ظرفیت مدل برای هر Token اجرا بشه.
یکی از تغییرات مهم، معماری Causal Encoder-Decoder (CED) هست. در مرحله‌ی Prefill فقط بخش Encoder پردازش میشه و Decoder بیشتر در مرحله‌ی Decode وارد کار میشه؛ بنابراین هزینه‌ی پردازش Contextهای خیلی بزرگ کاهش پیدا می‌کنه.
از طرف دیگه DeepSeek از Sliding-Window Attention (SWA) استفاده کرده تا هر Layer مجبور نباشه کل Context رو نگه داره. با Bounded Replay هم وقتی یک Agent Session دوباره لود میشه، لازم نیست کل KV Cache از ابتدا ساخته بشه و فقط بخش‌های اخیر دوباره محاسبه میشن.
در بخش Memory هم CSA2 (Compressed Sparse Attention 2) باعث میشه چند Layer بتونن بخشی از KV Cache و Retrieval Results رو با هم Share کنن. در کنار اون، Hierarchical Sparse Indexing باعث میشه برای پیدا کردن اطلاعات مرتبط، لازم نباشه هر بار کل یک Context یک‌میلیون‌تایی Search بشه.
پس نکته‌ی اصلی V4.1-Flash اینه که برای ساخت یک LLM ارزان و سریع، الزاماً نباید تعداد arameter رو کم کرد، میشه معماری رو طوری طراحی کرد که چه Parameterهایی اجرا بشن، چه Memoryای نگه داشته بشه و چه بخشی از Context دوباره خوانده بشه هوشمندانه‌تر مدیریت بشه.
برای AI Agents این موضوع خیلی مهمه، چون Context این سیستم‌ها دائماً با Conversation، Source Code، Retrieved Documents و Tool Results بزرگ‌تر میشه. بنابراین در آینده احتمالاً معیارهایی مثل:
▫️برای Input و Output چند Parameter واقعاً فعال میشن؟
▫️هر Token چقدر به KV Cache اضافه می‌کنه؟
یعنی برای نگه‌داشتن Context هر Token چقدر Memory مصرف میشه؟ هرچی این مقدار کمتر باشه، اجرای Contextهای طولانی و Agentها به‌صرفه‌تره.
▫️وقتی یک Session متوقف میشه، چه اطلاعاتی باید ذخیره بشه؟
مثلاً وقتی یک AI Agent موقتاً متوقف میشه، برای ادامه دادن کارش دقیقاً چه Stateای باید روی Disk یا SSD ذخیره بشه و چقدر هزینه داره؟
▫️با بزرگ‌تر شدن Context، هزینه‌ی Attention و Retrieval هم بیشتر میشه؟
یعنی وقتی Context از چند هزار Token به صدها هزار یا حتی یک میلیون Token می‌رسه، آیا Model مجبور میشه برای پیدا کردن اطلاعات مرتبط، حجم خیلی بیشتری از داده رو پردازش و Search کنه یا معماری می‌تونه این هزینه رو محدود کنه؟
اینا به‌اندازه‌ی تعداد کل Parameters برای انتخاب یک مدل اهمیت پیدا می‌کنن.
@silicon_brain | از هوش مصنوعی عقب نمانید