📩📩📩

Открыли RESON для оценки моделей распознавания речи ▶️

Мы опубликовали RESON — первую открытую разработку MWS AI в области распознавания речи. Инструмент помогает комплексно оценивать качество ASR-моделей, которые используют в голосовых помощниках, контакт-центрах, сервисах расшифровки аудио и голосовом поиске.

Что умеет RESON

Он объединяет подготовку данных, расчёт метрик, сравнение моделей и детальный разбор ошибок, сокращая время анализа с нескольких часов до 10–15 минут.

🔍 сравнивает модели более чем по 10 метрикам и показывает, где именно возникают ошибки;

🔍 приводит расшифровки к единым правилам, чтобы варианты написания слов не искажали результат;

🔍 находит проблемы с редкими, но важными для бизнеса словами, включая названия компаний, продуктов и сервисов;

🔍 помогает определить, какие ошибки нужно исправлять в первую очередь;

🔍 автоматически собирает интерактивный HTML-отчёт для технической и бизнес-команды.

RESON доступен как Python-библиотека, подключается через командную строку или API и разворачивается в инфраструктуре компании, включая закрытый контур.

Вместе с инструментом мы опубликовали бенчмарк MWS RESON ASR OSD с более чем 12 тысячами русскоязычных записей общей длительностью около 38 часов.

Бенчмарк разработан руководителем команды распознавания речи MWS AI Александром Шевченко и его командой.

MWS AI развивает технологии распознавания речи с 2019 года. Решения компании, в том числе голосовые модели семейства Audiogram, используются, в том числе крупнейшим по числу абонентов и выручке телекоммуникационным оператором России МТС.

✅ Забрать RESON на GitHub
✅ Скачать бенчмарк на Hugging Face
✅ Узнать больше о разработке на Хабре