▶️ MWS AI открыла доступ к своему инструменту для оценки распознавания речи.

MWS AI открыла код RESON – инструмент для оценки моделей распознавания речи. Это первая открытая разработка компании в области ASR. Библиотеку покажут на форуме «Цифровые решения».

Пользователь загружает расшифровки модели и эталонные тексты. RESON приводит их к единым правилам, чтобы мелкие различия в написании не искажали оценку. Затем он считает метрики и собирает интерактивный HTML-отчет. Его можно использовать для технического разбора и для показа результатов бизнес-команде.

Метрик больше 10, их можно настраивать. WER считает долю ошибочных слов, CER – ошибки на уровне символов. MWA дает каждому уникальному слову одинаковый вес, поэтому видны промахи на редких словах: названиях компаний и сервисов. Собственная метрика MWS AI, WIS, ищет слова, которые почти не влияют на общий результат, но важны в конкретном сценарии: бренды, англицизмы и т.п. Она учитывает частоту слов, долю ошибок, их тип и то, на что модель его заменяет. По ней удобно решать, что дообучать в первую очередь.

RESON – это открытая Python-библиотека. Ее подключают через командную строку или Python API и разворачивают на своих серверах, в том числе в закрытом контуре. Это важно для банков и операторов, которые не могут отправлять голосовые данные вовне.

Вместе с инструментом вышел бенчмарк MWS RESON ASR OSD. В нем более 12 тыс. размеченных записей общей длительностью около 38 часов. Данные двух типов: разговорная речь и фразы с числами (телефоны, счета, даты, суммы). Есть чистый звук и записи с шумом, например с работающим телевизором или чужими голосами. Много англицизмов и названий компаний, банков и операторов.

MWS AI развивает технологии распознавания речи с 2019 года. Решения компании, в том числе голосовые модели семейства Audiogram, используются, в том числе крупнейшим по числу абонентов и выручке телекоммуникационным оператором России МТС.

Руководитель команды распознавания речи MWS AI Александр Шевченко рассказал, что RESON создавали для внутренних задач. Раньше метрики считали в одном месте, ошибки разбирали в другом, а результаты сводили вручную. Теперь весь путь от подготовки данных до разбора ошибок собран в одной системе. Анализ, который занимал несколько часов, сократился до 10–15 минут. По словам Шевченко, компания хочет задать общий подход к оценке ASR, как минимум для русскоязычных данных.

☎️ Телекоммуналка в Telegram | в MAX