مدل Voxtral Realtime از Mistral AI بالاخره اون شکافی که بین مدل‌های ASR آفلاین و سیستم‌های استریمینگ وجود داشت رو پر کرد. برخلاف اکثر مدل‌ها که صرفاً یه مدل آفلاین (مثل Whisper) رو با ترفند Windowing تبدیل به استریمینگ می‌کنن، این مدل از پایه برای پردازش در لحظه (End-to-end Streaming) طراحی شده. این یعنی مدل یاد گرفته که با جریان پیوسته صدا کار کنه، نه تکه‌های بریده شده.

معماری این مدل بر پایه Delayed Streams Modeling (DSM) بنا شده، اما با یه تغییر بزرگ: استفاده از یه Causal Audio Encoder جدید و Ada RMS-Norm. این یعنی انکودر مدل دیگه نگاه به آینده (Look-ahead) نداره و به صورت علیتی صدا رو پردازش می‌کنه. این کار باعث میشه شرطی‌سازی روی تاخیر (Delay Conditioning) خیلی دقیق‌تر انجام بشه و پایداری خروجی در لحظه حفظ بشه. استفاده از Ada RMS-Norm هم کمک کرده تا مدل با تغییرات ناگهانی در تاخیر شبکه یا ورودی، کیفیت خروجی رو از دست نده.

رسیدن به تأخیر ۴۸۰ میلی‌ثانیه در حالی که کیفیت خروجی با مدل‌های آفلاین سنگینی مثل Whisper برابری می‌کنه، یه دستاورد مهندسی جدی در سال ۲۰۲۶ محسوب میشه. این یعنی شما می‌تونید سیستم‌های Voice-to-Text با تاخیر زیر نیم ثانیه بسازید که عملاً خطایی ندارن. پشتیبانی از ۱۳ زبان مختلف در مرحله پیش‌آموزش هم نشون میده که مدل روی دیتای چندزبانه (Multilingual) به خوبی تعمیم پیدا کرده و صرفاً برای انگلیسی بهینه نشده.

به نظر من، بزرگترین نقطه قوت این انتشار، لایسنس Apache 2.0 و وزن‌های باز (Open Weights) مدل ۴ میلیاردی Mini هست. ما همیشه توی سیستم‌های Real-time با مشکل Train-inference mismatch و پرش‌های ناگهانی در متن خروجی مواجه بودیم، چون مدل‌های آفلاین برای دیدن کل جمله آموزش دیدن. Voxtral با رویکرد Natively Streaming این مشکل رو از ریشه حل کرده. اگه دارید روی Voice Agents یا سیستم‌های ترجمه همزمان کار می‌کنید، این مدل استاندارد جدید شماست.

واقعیت اینه که برای داشتن تجربه کاربری روون در صوت، تاخیر زیر ۵۰۰ میلی‌ثانیه حیاتیه. Mistral با این مدل نشون داد که میشه بدون فدا کردن دقت، به سرعت استریمینگ واقعی رسید. مدل ۴ میلیاردی به قدری سبک هست که بشه اون رو روی GPUهای معمولی یا حتی Edge به راحتی سرو کرد.

📃 مقاله فنی در arXiv:
https://arxiv.org/abs/2602.11298

📃 مخزن مدل در هاگینگ فیس:
https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602

🛠 Join @LLMEngineers Community