Продолжение вот этого поста.

Вот в чем нюанс.

Если информация разбита на фрагменты, как гарантировать, что при поиске будут найдены ВСЕ нужные кусочки? Это особенно сложно с таблицами, где объяснение может быть в другом абзаце, или когда в системе есть несколько версий одного документа с противоречивой информацией.

Один из способов решения — Re-Ranking (повторное ранжирование).
После того как векторный поиск нашел первоначальный набор фрагментов, специальная модель-ранжировщик "перепроверяет" их и сортирует по степени релевантности запросу, обеспечивая подачу в LLM самого ценного контекста.

А еще контроль доступа...

Контроль доступа - это одна из главных причин, почему RAG безопаснее и практичнее прямой работы с публичными LLM.

На уровне публичной LLM контроля доступа практически нет. Любую модель можно "уговорить" раскрыть конфиденциальную информацию, на которую у собеседника не должно быть прав. Кто-то там даже мини реактор в США собрал ))

RAG решает эту проблему на фундаментальном уровне.
Прямо в метаданных векторного хранилища мы можем прописать, что фрагмент с данными по коммерческой аренде доступен только отделу аренды, а финансовые отчеты - только руководителю. Таким образом, менеджер по продажам квартир физически не получит в контексте данные, к которым у него нет доступа, как бы он ни формулировал свой вопрос.

Осталось только внедрить 🙃

Чернышев AI - ИИ / Недвижимость