معماری مدل‌های صوتی (Spoken Dialogue Models) داره یه شیفت سنگین رو تجربه می‌کنه؛ گذار از حالت Half-Duplex (مثل بیسیم واکی-تاکی که یکی حرف می‌زنه اون یکی گوش میده) به Full-Duplex (مکالمه طبیعی همزمان که می‌تونیم بپریم وسط حرف هم). ترندهایی مثل GPT-4o Voice Mode باعث شدن هایپ این قضیه زیاد بشه، ولی واقعیت اینه که ارزیابی این مدل‌ها تا الان فقط روی "محتوای متنی" بوده، نه "دینامیک مکالمه".

مقاله جدید Full-Duplex-Bench دقیقاً دست گذاشته روی همین نقطه کور. این‌ها یه بنچمارک ساختن که کیفیت تعامل رو می‌سنجه، نه فقط اینکه مدل چی میگه، بلکه "کی" و "چطور" میگه.

چهار بُعد اصلی که توی این بنچمارک تست میشه و باید توی توسعه مدل‌های Voice بهش دقت کنید:

۱. هندل کردن مکث (Pause Handling):
مدل باید فرق بین "تموم شدن حرف" و "مکث برای فکر کردن" رو بفهمه. اکثر مدل‌های فعلی (مخصوصا End-to-Endها) تا یه مکث کوچیک می‌بینن، سریع میپرن وسط و Interrupt می‌کنن که تجربه کاربری رو نابود می‌کنه (Takeover Rate بالا).

۲. بک‌چنل (Backchanneling):
یه مکالمه طبیعی پر از "آها"، "اووم" و "درسته" است که شنونده میگه تا نشون بده داره گوش میده، بدون اینکه نوبت صحبت رو بگیره. مدل باید بتونه بدون اینکه رشته کلام رو از دست یوزر بگیره، فیدبک صوتی بده.

۳. جابجایی نوبت (Smooth Turn-Taking):
اینجا Latency حرف اول رو میزنه. فاصله زمانی بین سکوت یوزر و شروع جواب مدل. مدل باید تشخیص بده کِی نوبت اونه و بدون تاخیر غیرطبیعی شروع کنه.

۴. مدیریت وقفه (User Interruption):
اگه مدل داره حرف می‌زنه و یوزر می‌پره وسط حرفش، مدل چقدر سریع خفه میشه؟ (Barge-in). مدل‌های E2E معمولاً اینجا گیج می‌زنن و به حرف زدن ادامه میدن یا چرت و پرت تحویل میدن چون کانتکست به هم می‌ریزه.

نکات فنی و وضعیت فعلی مدل‌ها بر اساس این بنچمارک:

مدل‌های End-to-End مثل Moshi و dGSLM:
این‌ها Latency وحشتناک پایینی دارن (حدود ۳۰۰ میلی‌ثانیه) که عالیه، ولی به شدت "بی‌ادب" هستن. یعنی Takeover Rate بالایی دارن و هر نویزی رو سیگنال شروع صحبت می‌بینن و میپرن وسط. کنترل‌پذیری این معماری‌ها هنوز پایین‌ه.

مدل‌های Cascaded مثل Freeze-Omni:
این‌ها که پایپ‌لاین جدا (VAD + ASR + LLM + TTS) دارن، توی کنترل نوبت و تشخیص وقفه خیلی بهتر عمل می‌کنن چون ماژولار هستن و لاجیک مشخص دارن، ولی Latency بالاتری دارن که حس Real-time رو کم می‌کنه.

مدل Gemini Live:
به عنوان یه مدل تجاری Closed-source، تعادل خوبی بین بک‌چنل و مدیریت نوبت داره ولی حتی اون هم روی دیتاست‌های واقعی (مثل Candor) گاهی گیج میزنه و نوبت رو به موقع نمی‌گیره.

به نظر من، آینده دست مدل‌های Native End-to-End هست چون پتانسیل انتقال احساسات و Latency پایین رو دارن، ولی فعلاً از مشکل "عدم بلوغ در Turn-taking" رنج می‌برن. اگر روی Voice Agent کار می‌کنید، فعلاً یا باید کندی Cascaded رو تحمل کنید یا بیخیال دقت در نوبت‌گیری بشید. راه حل احتمالی تزریق توکن‌های کنترلی خاص برای مدیریت State مکالمه داخل خود مدل E2E هست، نه اینکه صرفاً روی دیتای خام Audio آموزش بدیم.

📃 Full-Duplex-Bench: A Benchmark to Evaluate Full-Duplex Spoken Dialogue Models
https://arxiv.org/abs/2503.04721

🛠 Join @LLMEngineers Community