GigaAM возглавила рейтинг 11 движков и режимов распознавания русскоязычной речи

Мы в RetailCRM транскрибируем звонки с AI-обработкой. Впереди офлайн: торговые залы, переговорные комнаты, живые встречи. Сейчас проводим тесты движков распознавания речи, хочу поделиться с вами цифрами.

Прогнали 491 запись спонтанной русской речи — 177 минут звука. Итоговый рейтинг построили на общей базе: 488 записей, которые обработали все режимы, и 20 901 слово в эталонах. Основная метрика — микро-WER: сумма замен, пропусков и вставок, делённая на число слов эталона. Меньше — лучше.

Рейтинг топ-5 по микро-WER:

1. GigaAM v3, локальный пакетный — 7,46%
2. GPT Realtime, потоковый — 8,52%
3. faster-whisper, локальный пакетный — 9,78%
4. OpenAI whisper-1, пакетный — 9,82%
5. Deepgram, пакетный — 9,90%

Остальные шесть движков и режимов показали от 10,86% до 18,12%. Полный рейтинг тут.

GigaAM на первом месте. Это открытая модель, которую можно запустить на своём сервере. На этом корпусе её микро-WER на 12,4% ниже результата GPT Realtime. Второе, третье, четвёртое и пятое места разделяют всего 0,12 процентного пункта. Это один корпус коротких спонтанных монологов, поэтому результаты нельзя автоматически переносить на звонки и встречи. Диаризацию здесь тоже не измеряли.

Если сравнить пакетный / потоковый:

Deepgram — 9,90% / 11,87%
Yandex — 11,80% / 13,04%
Sber — 11,06% / 10,86%

Режим обработки меняет результат сильнее, чем кажется. Например, у Sber пакетный режим показал 11,06%, а потоковый — 10,86%. Поэтому один и тот же провайдер в полном рейтинге встречается дважды. Готовые записи и живой поток оцениваются отдельно.

Полная прозрачность данных исследования: каждую из 491 записи можно послушать, рядом прочитать эталон, сравнить ответы всех 11 движков и режимов и увидеть конкретные замены, пропуски и вставки.

Мы опубликовали результаты, исходные ответы движков, сводные таблицы, отчёты, состав корпуса и контрольные суммы. Рейтинг можно проверить собственными ушами и даже пересчитать)

Дальше в планах замер на 600 реальных встречах и звонках, затем отдельная оценка диаризации: кто и когда говорил.

Буквально вчера OpenAI выпустила новые модели — GPT Transcribe и GPT Live Transcribe. Заявлено серьёзное снижение ошибок, разберём их в следующем посте.

Статья с методикой и полным рейтингом


Прослушать записи и сравнить ответы движков