Как заставить ИИ работать с проектной (и не только) документацией.

В современных LLM есть одно фундаментальное ограничение — длина контекста. Да, она с каждым годом растёт, но для серьёзных проектов всё равно не хватает. Попробуйте скормить AI всю вашу документацию: текст, схемы, таблицы, изображения, файлы. Даже Google с её нынешним лямом токенов начнёт нести чушь.

Потому что есть ещё системные промпты и история сообщений. Есть файлы, диаграммы и картинки, которые жрут немеряно токенов. Всё это довольно быстро забивает контекст и модель начинает упрощать, тупить и галлюцинировать. Так что же делать?

Ответ есть уже довольно давно. Ещё в 2020м исследователи одной запрещённой соцсети опубликовали статью про RAG (Retrieval-Augmented Generation). Это такой подход, при котором ИИ не полагается на одну только память, а сперва ищет информацию во внешнем хранилище — и только потом формирует ответ на основе найденного.

Давайте на примере библиотеки и библиотекаря.

Библиотека — это ваша документация, база знаний: документы, журналы, инструкции, PDF и эксельки, статьи, заметки, БД. Всё это заранее разложено, проиндексировано и помечено так, чтобы можно было быстро найти нужные фрагменты (а не перечитывать каждую спецификацию целиком). В RAG это всё документы, разбитые на фрагменты и преобразованные в векторы.

Библиотекарь — это RAG-логика поверх LLM. Когда ты задаёшь вопрос, библиотекарь не бросается отвечать сразу. Он сперва выявляет суть твоего вопроса, идёт в библиотеку, ищет релевантные книги и даже страницы в них. Он достаёт конкретные абзацы, а не перебирает всю книгу целиком. И только после этого он возвращается и отвечает. Библиотекарь не обязан знать ответ заранее. Он должен уметь искать и пересказывать.

Почему это принципиально важно?

Потому что обычная LLM без RAG — это очень услужливый библиотекарь без доступа к библиотеке. Он умный, начитанный, но его знания могут быть устаревшими, в них может не хватать деталей. А когда знаний нет, он начинает очень убедительно их выдумывать.

Как выглядит запрос в RAG-логике:

Ты спрашиваешь у своего ИИ: «Какие риски могут сработать при изменении формы регистрации юрлиц в нашем продукте?»

Запускается процесс:
- библиотекарь превращает вопрос в поисковый запрос;
- находит в документации фрагменты про саму форму, особенности юриков;
- выбирает только релевантные куски и передаёт их модели;
- модель формирует связный ответ, опираясь строго на эти тексты.

Если в библиотеке нет нужной книги, твой библиотекарь скажет об этом.

Почему RAG — не просто «поиск + ChatGPT».

Ключевое отличие в том, что модель видит контекст целиком. Это не «я нашёл 5 ссылок, вот они». Это «я нашёл подходящие фрагменты и отвечаю, опираясь на них». Поэтому ответ обычно точный, связный, без галлюцинаций и со ссылками на источники.

RAG идеально ложится на:
- документацию,
- корпоративные базы знаний,
- нормативку,
- исследования,
- да и вообще всё, что не лезет в контекст.

RAG — это не просто поумневшая модель. Это хорошо обученный библиотекарь с доступом ровно к тем полкам, которые вы ему разрешили.