"RAG у нас работает нормально, даже отлично, но последнее время пользователи всё чаще жалуются на неактуальные ответы. Мы проверили метрики - поиск быстрый, точность высокая, достаёт вроде бы правильные документы… Только жалобы никуда не деваются, уже не знаем как дебажить"
Начали копать, что там нормально работает, а там такое… Интересное!
На первый взгляд система написана хорошо, много важных метрик (как по учебнику).
Только вот мониторили всё, кроме главного – насколько свежие данные система реально отдаёт пользователям.
База знаний долгое время была небольшой. Но когда подписали новых клиентов – стремительно выросла до 80.000+ документов (и продолжает расти, пользователи постоянно догружают контракты и прочую сопутствующую бухгалтерию.)
Тут мы нашли архитектурный баг 🐞
Раньше документов было меньше, и обновление поисковой базы делалось "в лоб" – просто пересобирали весь индекс раз в сутки ночью. Работало нормально, всех устраивало.
МVP → $$$! Какие вопросы?
На новых объёмах этот процесс стал занимать 10+ часов.
А алертов на это никто не организовал.
Так что выхоило следующее – документ обновили, например, утром, а в поиске он появится только завтра где-то к обеду! Система весь день уверенно отдаёт вчерашнюю версию... 🥲
Что мы сделали:
1. Перешли на более умное обновление (инкрементальная индексация) – теперь система обрабатывает только изменённые/новые документы, а не всю базу целиком. Да, оказывается это не очевидно, или в режиме стартапов просто забывается ¯\_(ツ)_/¯
2. Добавили приоритет свежести – при прочих равных система теперь предпочитает более свежие документы
3. Настроили мониторинг устаревания – если данные начинают "протухать", команда сразу видит алерт в слаке.
Результат по первичным оценкам такой:
- Задержка обновления снизилась с ~14 часов до ~10 минут (на самом деле меньше, это пессимистическая оценка)
- Жалобы на неактуальную информацию – пока полностью пропали, ждем!
- Никаких изменений в самой AI-модели
Мораль, думаю, тут такая: RAG может ломаться не из-за плохого AI, а из-за невидимых проблем с данными, которые попросту упустили из внимания.
Если узнаёте свою ситуацию – заполняйте короткую заявку тут, разберём!