Context Engineering (2/3): Выжимка техник для работы с контекстом в LLM-системах 🛠

Итак, мы с вами натыкали бизнес процесс и поняли какой у нас есть разные источники информации, которые можно кормить агенту и что-то полезное от него в ответ получать. Для этого надо уложиться примерно в 170к токенов - чтобы агент мог нормально работать с контекстом.

В этом нам помогут 4 ключевые техники работы с контекстом для агента- и инструменты на вооружении этих техник (их десятки, тут только топ) - чтобы правильно готовить этот контекст:

📝 ЗАПИСЬ (Write)
Сохранение и управление состоянием для долгих и сложных задач.

- Scratchpad: Временная зона для промежуточных рассуждений, заметок и шагов chain-of-thought, чтобы структурировать мышление агента без перегрузки основного контекста. (Инструменты: Встроенные в LangGraph/LangChain, кастомные промпты в LLM, Redis для персистентных заметок).

- Semantic Caching: Кэширование ответов на семантически близкие запросы для ускорения и удешевления. (Инструменты: Redis, кастомные решения на файлах).

- State Checkpoints: Снимки состояния для возобновляемых, отказоустойчивых сессий. (Инструменты: PostgreSQL, Zep, встроенная персистентность в LangGraph).

- Long-term Memory: Долгосрочное хранение фактов и предпочтений для персонализации. (Инструменты: Pinecone, Neo4j).

📖 ЧТЕНИЕ (Select)
Точное извлечение релевантной информации — основа качественных ответов.

- RAG (Retrieval-Augmented Generation): Тут надо смотреть на схему, но в самом простом варианте это Векторный поиск по большим базам знаний (предварительно chunking + embedding). Остается стандартом де-факто, несмотря на рост контекстных окон, из-за экономичности и точности. (Инструменты: Milvus, Weaviate, Pinecone).​
@AigizK - большой специалист (колонка Homai + MLOps) тут ещё прояснил про RAG в комменте.

- Hybrid RAG: Комбинация векторного (семантического) и лексического (по ключевым словам) поиска для максимальной релевантности. (Инструменты: Elasticsearch, Weaviate).

- Function Calling: Динамическое получение данных из внешних API в реальном времени. (Инструменты: OpenAI Function Calling, аналоги в других моделях).​

- GraphRAG: Поиск по связям в графовых базах данных. Ключевой тренд 2025 года для задач, где важны сложные взаимосвязи, а не только семантическая близость. (Инструменты: Neo4j + embeddings).​

🗜 СЖАТИЕ (Compress)
Оптимизация контекста для экономии токенов и ускорения работы.

- Summarization: Суммаризация диалогов или документов через LLM для передачи ключевой сути.

- Contextual Compression: Автоматическая фильтрация нерелевантных частей извлеченных документов перед отправкой в LLM.​

- Entity-Centric: Сжатие контекста до ключевых сущностей и их связей, часто с использованием NER (Named Entity Recognition).​

🔒 ИЗОЛЯЦИЯ (Isolate)
Разделение задач между специализированными компонентами — главный вектор развития сложных систем.

- Multi-Agent Systems: Декомпозиция сложной задачи на роли (агенты), где каждый выполняет свою часть работы. Это позволяет решать нелинейные и комплексные проблемы. (Фреймворки: LangGraph, CrewAI).​

- Sandbox: Изолированная среда для безопасного выполнения кода или работы с чувствительными данными. (Инструменты: Docker, E2B).

- State Management: Управление состоянием и переходами в сложных, многошаговых сценариях. (Инструменты: XState).

#ContextEngineering #AITools #RAG #AIAgents #LangGraph #GraphRAG #LLM