🤯 RAG 2.0: Как мы получили +30% к точности, отказавшись от векторов

Все застряли в парадигме: chunking → векторы → семантический поиск → ответ. Но что, когда "похожий" текст ≠ "нужный" текст?

🤔 Проблема традиционного RAG:
Запрос: "Насколько изменился операционный денежный поток компании в 2025?"

Традиционный подход:
• Ищет "денежный поток", "2025", "операционная деятельность"
• Но теряет контекстные связи между терминами
• Возвращает статистически похожие, но концептуально бесполезные чанки

💡 Решение: PageIndex - векторно-независимый RAG
https://github.com/VectifyAI/PageIndex

🛠 Техническая архитектура:
1. 📑 OCR с сохранением структуры
o Обычный OCR: обрабатывает страницы изолированно
o PageIndex OCR: анализиет документ целиком, сохраняя иерархию заголовков, таблиц, списков

2. 🌳 Генерация древовидной структуры
o Создается иерархия: Глава → Раздел → Подраздел
o Каждый узел получает: node_id, title, summary, page_index

3. 🧠 Reasoning-Based Retrieval
o Вместо векторного поиска LLM логически анализирует структуру документа и рассуждает, в каких разделах следует искать ответ
o Это переход от статистического совпадения к осмысленному поиску по дереву

⚡️ Ключевые технические преимущества:
🎯 Точность +30% - поиск по контексту вместо статистической схожести
🔍 Прозрачность - видите reasoning chain LLM: "Выбрал такой-то узел 2.1.1, потому что..."
🛡 Безопасность - нет векторных БД, все локально
📊 Работа со сложными документами – корпоративные документы, технические мануалы, юридические контракты, договоры

🎯 Мой вывод:
PageIndex, конечно, не заменит все RAG-системы, но это существенный прорыв для тех случаев, где важна точность и прозрачность результатов поиска. Если ваша команда бьется над точностью сложных запросов - подход обязателен к изучению.

#RAG #AIКоманда #Vectorless #PageIndex #TechnicalDebt #АрхитектураAI