Что такое context engineering?

Понравилось объяснение Джефа Хабера (Jeff Huber), фаундера Chroma. Он говорит о context engineering в контексте разработки софта, но думаю легко перекладывается на другие виды деятельности.

Сontext engineering — это процесс наполнения контекста токенами, которые помогут эффективно добиваться целей и задач, например, писать надежный программное обеспечение быстро и дёшево.

У абсолютно всех LLM эффективное контекстное окно гораздо меньше, чем номинальное (см. context rot). Эффективность работы LLM, особенно в задачах, требующих ризонинга, быстро падает. Чтобы этого избежать, нужно курировать контекст.

Этапа всего 3:

1. Собрать релевантную информацию
2. Убрать неревантную информацию
3. Оптимизировать релевантную

Gather
Собираем: работаем со структурированными и неструктурированными данными, локальной файловой системой, внешними инструментами (API, MCP, веб-поиск), историей чатов и т.д.

Glean
Отбираем: используем методы Top-k по сходству векторов, Reciprocal Rank Fusion, обучение ранжированию и модели повторного ранжирования, а всё чаще — просто LLM (можно использовать дешевые и даже локальные модели, и делать это более одного раза)

Не важно, пишете ли вы софт или работаете с помощью агентов над текстами — процесс будет похожий.