Вижу эту ошибку каждый день: человек решает сделать умного агента по базе знаний компании. Он берет выгрузку из Notion на 1000 страниц, корпоративный регламент в PDF, засовывает всё это в промпт (или прикрепляет файлом) и пишет: «Изучи это и отвечай на вопросы клиентов».
Агент первые два вопроса отвечает нормально, а на третий начинает нести откровенную дичь, путать тарифы и придумывать правила, которых нет.
Вы злитесь: «Я же дал тебе все данные, тупая ты ИИшка!» 🤬
Почему это не работает?
Существует проблема, которая в AI-тусовке называется «Lost in the Middle» (потеря в середине). Если выпихнуть в контекстное окно нейронки огромный лонгрид, она отлично запомнит начало текста, неплохо - конец, но полностью «забудет» или проигнорирует то, что было в середине. Плюс, чем больше контекста вы скармливаете за один раз, тем дороже вам обходится каждый запрос (токены улетают тысячами) и тем дольше агент «думает».
Как делать правильно: RAG (Retrieval-Augmented Generation)
Вместо того чтобы заставлять агента читать всю библиотеку каждый раз, когда его спрашивают, сколько стоит доставка, мы учим его пользоваться картотекой.
Вот реальный пайплайн, который работает в проде и который нужно собирать:
1. Дробим данные (Chunking). Вы берете свой регламент и через код режете его на маленькие кусочки (чанки), скажем, по 500-1000 символов.
2. Превращаем в векторы (Embeddings). Каждый кусочек текста мы прогоняем через специальную модель (например, дешевую и быструю
text-embedding-3-small от OpenAI). Модель превращает текст в набор цифр: вектор. Для нейронки это координаты смысла.3. Складываем в базу. Закидываем эти векторы в векторную базу данных. Забудьте про Excel, тут нужны ChromaDB, Pinecone или Qdrant.
4. Умный поиск. Когда клиент пишет: «Как оформить возврат?», агент не читает весь PDF. Он берет вопрос клиента, превращает его в такой же вектор и мгновенно находит в векторной базе топ-3 куска текста с похожими «координатами смысла».
5. Ответ. Агент отправляет в LLM только сам вопрос и эти 3 найденных абзаца. Всё. Ответ точный, галлюцинаций ноль, стоит копейки.
Что делать прямо сейчас (практический совет):
Открывайте ноут, запускайте Cursor.
Если хотите собрать свою первую RAG-систему за вечер, скажите Cursor'у: "Напиши мне скрипт на Python, используя фреймворк LangChain. Возьми вот этот PDF-файл, разбей его на чанки по 1000 токенов с overlap (перекрытием) в 200 токенов. Сделай эмбеддинги через OpenAI и сохрани локально в векторную базу Chroma. Затем напиши функцию поиска по этой базе".
Вы получите рабочий кусок кода, который станет "мозгом" вашего будущего агента.
Забирайте актуальную базу по ИИ-агентам.
В следующем посте расскажу про главный кошмар разработчика: что происходит, когда агент выходит из-под контроля и начинает жить своей жизнью.