پدیده Code-Switching (تغییر ناگهانی زبان) پاشنه آشیل سیستم‌های ASR است، اما بنچمارک اخیر ServiceNow نشان می‌دهد مدل‌های Frontier به ثبات خوبی رسیده‌اند. تحلیل اعداد و خروجی‌ها نکات فنی زیر را برجسته می‌کند:

* مدل ElevenLabs Scribe V2 در اکثر جفت‌زبان‌ها کمترین WER (نرخ خطای کلمات) را ثبت کرده و صدرنشین است.
* گوگل Gemini 3 Flash به عنوان یک LALM (مدل زبانی-صوتی بزرگ) در شاخص AER (خطا در پاسخ‌دهی) به دلیل درک کانتکست، عملکردی خیره‌کننده دارد.
* مدل Whisper Large V3 Turbo بدترین نتیجه را گرفت، زیرا به جای Transcription، به اشتباه عمل Translation (ترجمه به انگلیسی) انجام می‌دهد.

Source: https://huggingface.co/blog/ServiceNow-AI/code-switching

🛠 Join @LLMEngineers Community