⚙️ Как собрать свою RAG-систему — без облаков и подписок

Хватит искать PDF-ки по корпоративным чатам. Сегодня любую внутреннюю документацию можно превратить в умный поисковик, который реально понимает, о чём вы спрашиваете. И всё — на чистом open source, локально и бесплатно.

RAG (Retrieval-Augmented Generation) объединяет две вещи: поиск по документам и генерацию ответов на естественном языке. Идея простая — модель не “придумывает” из головы, а берёт контекст из ваших файлов и формирует точный ответ. Ни утечек данных, ни платных API.

В новой статье — 5 инструментов:
🟣 MarkItDown — конвертирует любые документы (PDF, Word, HTML) в чистый Markdown.
🟣 LangChain RecursiveCharacterTextSplitter — умно режет текст на логические куски, чтобы LLM мог работать с контекстом.
🟣 SentenceTransformers (multi-qa-mpnet-base-dot-v1) — генерирует эмбеддинги локально, без доступа к API.
🟣 ChromaDB — хранит векторы и обеспечивает быстрый поиск по смыслу (HNSW-поиск под капотом).
🟣 Ollama + Gradio — локальная LLM (например, Mistral, Llama 3) и веб-интерфейс с потоковой генерацией ответов.

На выходе — полноценный Q&A-интерфейс по вашим документам: спрашиваете “как работает декоратор в Python”, получаете структурированный ответ с примером и ссылкой на исходный фрагмент. Всё работает офлайн, на локальной машине.

📚 Подробности на Хабр: https://habr.com/ru/articles/955798/