Phonely, Maitai и Groq решили проблему задержек в голосовом ИИ. Компании совместно добились успеха, сократив задержку на 70% и повысив комплексную точность (ASR+генерация ответа) с 81,5% до 99,2%. Проблема «неловких пауз» в разговорах с роботами, которая выдавала их, устранена благодаря технологии Groq - «горячей замене» легких моделей LoRA без потерь в скорости.
Система работает так: Maitai выбирает оптимальную модель для каждого запроса, Groq обрабатывает ее на специализированных чипах LPU, а данные о слабых местах моделей собираются и используются для их доработки. В итоге время первого ответа снизилось с 661 до 176 мс, а синтез диалога стал в 4 раза быстрее.
Один из клиентов Phonely уже заменит 350 операторов колл-центра на ИИ, а количество качественных лидов выросло на 32%.
Задержка в ответах была классическим маркером голосовых ИИ и главным препятствием для того чтобы заменить тысячи операторов мошеннических колл-центров из Днепропетровска и Николаева на ИИ, расширяющий их возможности в 1000 раз. Все, этот бастион пал.
Теперь осталось дождаться, когда новая модель окажется в руках СБУ, обучится на миллионах часов аудио записей работы мошенников, и мы получим новый кратный рост «звонков от следователя ФСБ».