Пишу серию постов про AI, а конкретно про RAG. Если вы только начинаете разбираться в AI или думаете, как поступиться к задаче с большим объёмом данных.
Понятным зыком для православной.
RAG (Retrieval-Augmented Generation, генерация с расширением через поиск) — это подход, при котором языковая модель для ответа на вопрос сначала ищет релевантные фрагменты информации во внешней базе (документах, базе знаний, базе данных), а затем использует найденные данные для формирования ответа. Такой подход существенно улучшает качество и точность генерации, снижает «галлюцинации» и позволяет использовать модели на актуальных пользовательских данных.
TL;DR: Просто LLM не волшебная палочка. RAG даёт доступ к вашим данным в контуре (внутри вашей системы/хранилища) и резко снижает число «галлюцинаций».
1. Проблема “глюков”
Большие модели (GPT, Llama и тп) учатся на данных интернета до своей даты релиза и ничего не знают о ваших свежих документах, клиентах или багах в коде. Они уверенно отвечают даже тогда, когда информации нет — и часто просто выдумывают.
2. Идея RAG
— Разбиваем внутренние документы на маленькие фрагменты (*чанки*) по 200–400 токенов. Важно не рвать смысл: одна тема — в одном куске.
— Индексируем их двумя способами:
🟢 Dense — смысловой эмбеддинг (поиск по смыслу, а не по словам)
🟡 Sparse (BM25 или иные) — по ключевым словам: термины, коды, аббревиатуры
— При запросе ищем самые релевантные чанки по эмбеддингу и keywords, подтягиваем оригинальные документы и «скармливаем» найденное LLM в промпт.
— Модель в ответе опирается на ваши реальные данные, а не на старую память.
Результат — LLM «читает шпаргалку» прямо перед экзаменом!
3. Где это реально работает
- Orchestra Ai Assistant — видит ваши задачи, встречи, файлы и сообщения. Видит ваш контекст в вашем рабочем окружении
- GitHub Copilot Chat — вытягивает из репозитория контекст, объясняет падения тестов
- Notion AI — ищет по вашим страницам для итоговых сводок
- Боты-саппорта в SaaS и банках — работают на внутренних инструкциях, экономя время живых операторов
4. Что получает бизнес
— Было: Галлюцинаций ≈ 30%
Стало с RAG: < 5% — всё опирается на ваши документы
— Было: Конфиденциальные данные нельзя сливать в OpenAI
Стало: Модель и индексы можно держать локально
— Было: Модель не видит новые данные
Стало: Залил новый PDF — бот через минуту «знает» о нём
💬 А где у вас LLM уже фантазировал вместо фактов?
Подписывайтесь — дальше будет больше практики, псевдо кода и лайфхаков! И буду стараться пояснить за разные термины и абривеатуры.