Кейс продукта с GPT/LLM под капотом: Персональный ассистент в компании #case

Примеры запросов пользователей

Запрос клиента 1 - Мы хотим чат бот для поддержки пользователей. Чтобы он мог отвечать на их вопросы с учетом статей с сайта и knowledge base, поиска по StackOverflow и актуальных тикетов в Github/Customer Support. Поискали, но нашли только варианты за 1000 евро в месяц, что очень жабно.

Сколько клиент готов платить - в зависимости от размера клиентской базы оно экономит время customer support/customer success management начиная с 10 часов в неделю до 100 часов в неделю и больше.

Соответственно 100-1000 евро в месяц за подобный продукт - это дешево. Существующие продукты на рынке начинаются где-то с 200 долларов в месяц за 4000 запросов в месяц.


Запрос клиента 2 - у нас очень большая и обширная внутренняя база знаний в wiki. Обычный поиск по ней относительно бесполезен, никто им не пользуется. Хотим чат бота, который бы работал как Bing по этим внутренним документам - искал везде, находил, и синтезировал ответ с ссылками. Это поможет с self-serve support, onboarding, поможет эффективнее распространять и передавать знания.

Готовы заплатить за работу команды, которая запилит нам подобный продукт под наши нужды. Ставка 135 евро в час, объем работ ~ 2-3 человека на пару месяцев.

Что есть у клиентов уже?

У клиентов есть набор разрозненных источников информаций c достаточно бесполезным поиском. То есть надо знать, что где лежит, и как это искать.

Пользователи либо не умеют пользоваться, либо не хотят, либо вообще не знают про информацию.

Проблема решается тем, что есть выделенные люди или специалисты. Либо платим зарплату людям, которые умеют “гуглить”, либо отвлекаем знающих людей от работы. Либо люди вообще оставляют идею найти информацию и идут более простым путем.

Отдельная головная боль с новичками - им надо все показать и рассказать. “А вот тут у нас лежат доки проектов, но только не маркетинговые брошюры. Брошюрки у нас маркетинговый отдел складывает сюда. А список вопросов и ответов вообще в другой базе, ибо исторически так сложилось”

Продукт

Ассистент, который может отвечать на вопросы и причинять помощь в индивидуальном порядке. Он работает как Bing на данных и сервисах компании, используя актуальную информацию из баз знаний и сервисов.

Техническое решение

(1) индексируем все источники информации в векторной БД с возможностью обновления в режиме реального времени. Это для полнотекстового поиска
(2) используем LLM для построения дополнительных индексов - embeddings, summarisation, Q&A. Индексы перестраиваем по мере изменения базовой информации
(3) при запросах пользователей используем LLM для построения расширенного запроса к БД по всем доступным индексам, параллельно прогоняем все запросы, а результаты сводим воедино в ответ. Указываем ссылки на исходные документы для fact-checking.
(4) Для ускорения ответа - можно использовать streaming, параллелизацию и специализированные модели.
(5) Обязательно добавляем возможность оценки ответа. Если модель дала хороший ответ на вопрос, то можно его добавить сразу в БД. Если модель дала плохой ответ, то сохраняем в статистику, чтобы команда могла поправить этот тип ответов.

Первые прототипы могут работать на ChatGPT/Claude для ускорения разработки. По мере накопления данных, можно части pipeline переключать на локальные модели, fine-tuned на конкретных данных.


Источник: https://t.me/llm_under_hood/4
Обсуждение: https://t.me/llm_driven_products

Продолжение: как прошла первая демка клиенту, и как мы добились хороших результатов.