TGViewer
Тестирование и оценка ИИ Тестирование и оценка ИИ @testingofai · 1.37K subscribers
Post #57 555
Когда мы говорим о Retrieval-Augmented Generation, важно понимать, что RAG - это не просто генерация с векторной базой.
Качество всей системы во многом определяется типом поиска, который используется для извлечения контекста.
Ниже я привел основные подходы, применяемые в современных RAG-системах.

Keyword / Lexical Search (BM25, TF-IDF)
Поиск по совпадению слов и фраз. Быстрый, интерпретируемый, подходит для коротких текстов и небольших корпусов, но не учитывает смысл, синонимы и порядок слов, что приводит к потере релевантности при перефразировках.

Vector (Semantic) Search
И запрос, и документы преобразуются в векторные представления (эмбеддинги), поиск выполняется по смысловой близости. Этот подход лежит в основе современных RAG-реализаций (FAISS, Milvus, Chroma, Pinecone). Позволяет находить контекст по смыслу, но требует больше памяти и вычислительных ресурсов.

Hybrid Search
Комбинированный подход, включает keyword-поиск, который отбирает кандидатов и vector-поиск, который уточняет результаты по смыслу. Используется в большинстве RAG-систем, так как сочетает скорость и качество. Минус - это усложнение пайплайна и необходимость оптимизации весов при объединении результатов.

Graph-based Retrieval (Knowledge Graph RAG)
Поиск по структуре знаний, где данные представлены в виде графа сущностей и связей. Подходит для доменов, где важна точность и проверяемость фактов (медицина, юриспруденция, аналитика). Главная сложность - это построение и поддержка самого графа.

Contextual / Adaptive Retrieval
Поиск, который адаптируется под тип запроса. Например, для аналитических вопросов выбираются длинные документы, для фактологических короткие фрагменты. Требует дополнительной логики или отдельной LLM-модели, которая решает, как искать.

Если смотреть с точки зрения evaluation, то каждый подход к retrieval имеет свой профиль качества. Keyword лучше по стабильности, vector по смысловой точности, hybrid по общей надёжности, graph по фактам, contextual по адаптивности.


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
  • 👍 2
  • 🔥 1
More from @testingofai
  1. Sep 23, 2026Сейчас поднялся новый хайп вокруг модели JEV от TypeSafeAI, ну и я конечно же сразу стал р…
  2. Sep 22, 2026С чего начать оценку ИИ агента, если у вас сейчас есть только прототип вашего ИИ агента. П…
  3. Sep 17, 2026Сегодня хочу поговорить про оценку голосовых AI агентов, потому что иногда вижу, что коман…
  4. Sep 15, 2026Недавно наткнулся на разбор того, как одна команда переводила ИИ агента с Claude Opus на G…
  5. Sep 10, 2026Сегодня поговорим про ситуацию, с которой сталкивается почти каждый, кто начинает оцениват…
  6. Sep 2, 2026Обычно, чтобы оценить работу ИИ агента, нам нужны тест-кейсы, или по другому датасет оценк…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →