شرکت چینی مینی‌مکس یه روش جدید پردازش متن طولانی ساخته که هم سریع‌تره هم ارزون‌تره

وقتی یه مدل هوش مصنوعی باید یه متن خیلی طولانی (مثلا یک کتاب کامل یا چند ساعت ترانویسی جلسه) رو بفهمه، باید هر کلمه رو با هر کلمه دیگه‌ای توی همون متن مقایسه کنه تا بفهمه کدوم بخش‌ها به هم ربط دارن. این کار به اسم Attention شناخته می‌شه، ولی مشکلش اینه که هرچی متن طولانی‌تر بشه، حجم این مقایسه‌ها به‌شدت بیشتر می‌شه؛ یعنی برای یه متن یک‌میلیون کلمه‌ای، هزینه محاسباتی به‌شکل وحشتناکی بالا می‌ره.

مینی‌مکس یه روش به اسم MSA (مخفف MiniMax Sparse Attention) معرفی کرده که این مشکل رو حل می‌کنه. ایده اصلیش اینه که به‌جای اینکه مدل هر کلمه رو با همه کلمات دیگه مقایسه کنه، اول یه بخش سریع و ارزون (اسمش Index Branch یا «شاخه راهنما») فقط تصمیم می‌گیره کدوم بلوک‌های متن واقعا مهمن، شبیه یه دستیار که قبل از خوندن کامل یه گزارش، فقط فهرست مطالبش رو نگاه می‌کنه و میگه «این سه فصل به سوال تو مرتبطن، بقیه رو نخون». بعد فقط همون بخش‌های مهم با دقت کامل بررسی می‌شن.

مینی‌مکس این روش رو روی یه مدل واقعی ۱۰۹ میلیارد پارامتری (با معماری MoE، یعنی مدلی که فقط بخشی از مناغش رو برای هر درخواست فعال می‌کنه، نه همه‌ش) و با ۳ تریلیون توکن داده آموزشی تست کرده، نه فقط یه آزمایش کوچک تئوری.

نتیجه قابل‌توجه بود: روی متن‌های یک‌میلیون‌کلمه‌ای، این روش پردازش اولیه متن رو ۱۴.۲ برابر و تولید پاسخ رو ۷.۶ برابر سریع‌تر کرد، و حجم محاسبات لازم برای attention رو هم تا ۲۸.۴ برابر کاهش داد.

مینی‌مکس کرنل (بخش پایه محاسباتی) این روش رو متن‌باز کرده و یه مدل تولیدی واقعی به اسم MiniMax-M3 هم بر همین اساس عرضه کرده؛ یعنی این فقط یه مقاله تئوری نیست، توی محصول واقعی هم پیاده شده.

اگه می‌خوای جزییات فنی‌تر این معماری رو ببینی، می‌تونی در MarkTechPost که ۲۷ خرداد این موضوع رو پوشش داد بخونی.

🎯 راهنمای کسب‌وکارها:

اگه محصولت نیاز به پردازش اسناد طولانی، تماس‌های پشتیبانی ضبط‌شده، یا تاریخچه طولانی چت داره، این روند یعنی هزینه استفاده از مدل‌های هوش مصنوعی برای کارهای متن طولانی به‌مرور پایین‌تر و سرعتش بیشتر می‌شه. وقتی برای انتخاب مدل یا ارائه‌دهنده API تصمیم می‌گیری، ارزش دارد بپرسی که آیا از تکنیک‌های جدید مثل sparse attention استفاده می‌کنن یا نه، چون مستقیم روی هزینه و سرعت پاسخ‌دهی محصولت اثر می‌گذارد.

@AITodayList | قبل از رقبات باخبر شو