Еще бенчмарк по голосовым ассистентам, но уже со стороны качества работы LLM

AssemblyAI выкатили Voice Standard Bench – 50+ LLM на реальных голосовых задачах
В общем, после транскрибации почти всегда идёт LLM-вызов – почистить диктовку, сделать саммари звонка, вытащить имена и номера заказов. На объёмах этот шаг съедает заметную часть бюджета, потому что туда по привычке ставят фронтир-модель.

В итоге что в бенче:
– 4 задачи: саммаризация, извлечение данных, коррекция текста, чистка диктовки
– 4 длины: 30 сек (голосовое), 2 мин, 15 мин (звонок в поддержку), 60 мин (митинг)
– на входе реальный выход STT – с «эээ», оговорками и ошибками распознавания
– качество, скорость и цена за час аудио рядом
– судьи – Claude Opus 5.5 и GPT-5.6 Sol, диктовка проверяется механически по эталону

Лучшие:
– Overall: GPT-6 Astra – 92, GPT-6 Luna – 90 (самая дешёвая в пределах 8 пунктов от топа), GPT-4.1 – 84 (самая быстрая)
– Саммари: Opus 5.5 – 98, GLM-5.3 Flash – 91 за копейки
– Диктовка: Gemini 4 Argon – 100, GLM-5.3 Flash – 96
– лидер по качеству стоит в 15–77 раз дороже модели, отстающей всего на 2 пункта. Только на часовых записях разрыв сжимается до ~4×
– GPT-6 Luna – около полцента за час аудио, но платишь задержкой
– gemma-4-31b на 30 секундах отвечает быстрее секунды с качеством 93 (у Luna – 1.7 сек)
– Qwen3.5 4B Fast – самая быстрая, но на 15-минутных звонках качество падает

Прикол, что опенсорс почти не выигрывает по цене – Luna и так стоит копейки, а экономия на открытых моделях – доли цента ценой 10+ пунктов качества на всём, что длиннее 2 минут. Зато по скорости на коротких входах открытые модели на их железе рвут всех: те же модели у других хостеров отвечают 10–20 сек.

Бенчмарк открыт на GitHub, и его можно прогнать на своих транскриптах и записях. Выбрать уже под себя.
Короче, фронтир в голосовых сценариях нужен в основном на длинных митингах. Для голосовых сообщений, коротких звонков и диктовки хватает маленькой быстрой модели, а сэкономленное лучше потратить на нормальный подбор модели для своих данных.

https://www.assemblyai.com/blog/voice-standard-bench