Короче, продолжаю нативно рассказывать про то, что делается и с чем сталкиваюсь в нашем AI-менеджере контроля качества

Самая муторная часть - это калибровка ассистента. Чтобы он оценивал так, как это делает человек. Так как логика некоторых пунктов может быть очень запутанной и нужно это все заложить в критерии оценки. Типо, если клиент целевой, то мы оцениваем пункт одним образом, а если не целевой, то другим образом.

Но самое бесячее, это когда вроде всё описано, разбито на блоки и т.д, а процент совпадений оценок все равно супер низкий. Тогда начинаю сам слушать звонки и тут обычно 3 варианта:
🔘 Человек ошибся и оценил не корректно. Тут просто исправляем оценку и двигаемся дальше
🔘 Человек оценил корректно, но руководствовался какими-то неписанными правилами, которые передаются из уст в уста внутри отдела. Тогда приходится повторно встречаться с ответственным, уточнять все эти узкие моменты и корректировать логику оценки
🔘 Робот ошибся. Тут все понятно, косяк на нашей стороне и нужно копать в причины ошибки

По последнему пункту остановлюсь чуть подробнее. Что вообще помогает улучшать качество оценки:
☑️ Для каждого критерия описывать формат фиксации т.е что и в каком виде нужно достать из звонка, чтобы оценить критерий
☑️ Для сложных случаев в формате фиксации описать цепочку рассуждений, которые должен зафиксировать ассистент
☑️ Порядок полей в ответе: фиксация всегда идет перед финальным ответом по критерию
☑️ Для больших чек-листов и звонков(больше 30 пунктов например) разбивать оценку на этапы диалога и оценивать каждый этап отдельно

Возможно банальщина и вы это все знали, но такие штуки верхнеуровнево позволяют выровнять качество оценки и продолжать дальше докапывать до деталей. А как оказалось для каждого чек-листа или методики оценки их там херова туча)