Сегодня хочу поговорить про оценку голосовых AI агентов, потому что иногда вижу, что команды берут для них те же метрики, что и для текстовых чат-ботов, что в итоге приводит к тому, что ряд важных акспектов просто искллючаются из оценки. Важно понимать, что голос это не текст, который озвучили, там есть свой набор проблем, на которых надо фокусироваться.

1. Каскад ошибок. ASR расслышал «пятнадцать» как «пятьдесят», а LLM дальше уверенно решает не ту задачу. По транскрипту все выглядит хорошо, метрики зеленые, а пользователь получил не то, что ожидал., поэтому оценивать нужно всю цепочку от аудио до результата, а не только текстовый запрос/ответ.

2. Длительность и задержки. Пауза в 2 секунды в чате почти не замечается, а в голосе воспринимается как то, что агент завис. Тут нужны перцентили по каждому этапу работы агента, STT, LLM, TTS, а не средняя по всему разговору.

3. Turn-taking. Так может случиться, что ИИ агент может начать перебивать пользователя, игнорирует его фразы или решает, что человек договорил, когда тот просто взял паузу подумать. Это отдельный класс сценариев, которые нужно учитывать при оценке голосовых ботов.

4. Реальные условия. Шум на фоне, акценты, быстрая речь, слова-паразиты, самоисправления типа «в среду, нет, в четверг». На чистых студийных записях агент отлично работает, а в проде ломается на первом же звонке из необычных окружающих условий.

5. Ответы, непригодные для речи. Слишком длинные ответы, списки и markdown, которые зачитываются вслух, неправильно произнесенные числа, даты и имена. Текстом это выглядит нормально, а на слух это звучит ужасно, поэтому надо проверять как отрабатывает TTS.

Финально могу сказать, что тест-сет для голосового агента это не просто набор вопросов и ответов, а набор аудио с шумом, акцентами, перебиваниями и обрывками, и оценивать в нем нужно каждый слой pipeline отдельно, потому что итоговый ответ может быть правильным даже при сломанном ASR.

А вы сталкивались с тестированием голосовых агентов? Что оказалось самым сложным? 👇


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)