RAG-платформа для 12 000 операторов Альфа-Банка: ускорили поиск данных в 20 раз

Раньше операторы контакт-центра вручную искали информацию в базе знаний, чтобы ответить клиенту. На обработку одного запроса в среднем уходило 5 минут.

Чтобы ускорить работу операторов, Альфа-Банк решил внедрить RAG-платформу. За помощью обратились к команде KTS.

За 4 месяца мы вместе вывели проект в production и настроили систему так, чтобы данные всегда были актуальны, и каждый оператор получал ответ с учётом его уровня доступа.

Платформу развернули внутри контура банка и запустили на двух GPU H100. Это позволило уложиться в экономику проекта и при этом обеспечить запас по производительности.

В результате RAG-платформа ускорила и упростила работу операторов:

▪️ среднее время обработки запроса уменьшилось на 40 секунд: с 5 минут до 4 минут 20 секунд
▪️ поиск данных стал в 20 раз быстрее: 3 секунды вместо 60

93% операторов положительно оценили работу платформы, и решение масштабировали на всех сотрудников Альфа-Банка. Сегодня система обрабатывает 85 000 запросов в сутки.

Больше деталей про настройку и работу RAG-системы показали в кейсе