Окончание поста. Начало - выше.

📚Структурирование баз знаний - наше все!
Единственный секрет качества в том, что выгрузку из базы знаний сконвертировали в что-то вроде графа, используя логические связи по заголовкам текста. Страница содержит все заголовки. H1 содержит текст и все заголовки ниже, итп.

При поиске по embeddings достаем фрагменты, по фрагментам находим релевантные части документов для контекста. ❗️ Достаем не страницы целиком (много слов) и не голые chunks с обрывом слов! А просто цельные части документа, содержащие самый релевантный контекст.

А потом все найденное “тащим” в document rerank + синтез ответа при помощи ChatGPT. Результат выводится клиенту в интерфейса чата - синтезированный ответ, исходные фрагменты и ссылки на оригиналы в Confluence.

Итог
В итоге получилась работающая система "умного поиска" по запутанной базе знаний (из confluence) на немецком языке. Клиент демке порадовался, а если получится запустить первых пользователей на этой неделе - будет доволен вдвойне 💫

И все это сложилось вместе благодаря тестовому набору вопросов. Благодаря им получалось оценивать качество системы и последовательно улучшать его. Заводите бенчмарки качества для своих продуктов как можно раньше! В идеале, до написания первой строчки кода. Оно реально экономит время и силы💪

Ваш, @llm_under_hood 🤗