🗂 Контекстное окно
Продолжим разбирать агентскую архитектуру. Поговорим о памяти и контексте. Всю память можно условно разделить на краткосрочную и долгосрочную. Сегодня — про первую.

Краткосрочная память — это то, что влезает в контекстное окно модели: ваша переписка, системные инструкции, описания инструментов и скиллов, результаты их работы. Без передачи этой истории модель каждый раз отвечала бы на сообщение как на новый тред.

Обычно в готовых инструментах этой частью управляет вендор. Через API и свой harness можно самому выбирать, что передавать ей на каждом шаге.

Проблема контекста в том, что он довольно быстро съедается. Чтобы продолжить работу, система делает компактизацию. В простом варианте модель сжимает предыдущую историю в кусочек текста и передаёт его в следующий запрос. Бывают и более сложные реализации, но подробности всё равно могут потеряться, а качество работы с большой задачей — упасть. Поэтому если вы всё-всё-всё ещё обсуждаете в одном чате, перестаньте так делать, пожалуйста.

Чтобы экономить контекст, можно использовать разные техники. Например, смешные заставлять модель говорить как пещерный человек — для этого есть Caveman (уу-аа-ai-ai!) или отвечать на китайском. Меньше слов в ответах — меньше текста на следующих шагах.

А ещё Карпатый недавно советовал просить объяснения в духе ASD-STE100 — стандарта упрощённого технического английского из авиации. Короткие предложения, один термин для одного понятия. Это прежде всего про понятность, а не про гарантированную экономию токенов. Можно и более хитро сжимать сам контекст. Правда, если каждый раз переписывать уже переданную историю, можно потерять часть выгоды от кэширования.

Интересно, что контекстные окна всех топовых моделей уперлись в лимит 1М (и то, обычно за отдельные деньги, как в OpenAI). Раньше была идея, что просто будет бесконечный контекст и можно будет просто все знания компании загрузить и будет хорошо работать, но так не получилось. И даже 1М легко забить описаниями MCP-инструментов, слишком большими скиллами и простынями результатов. Поэтому-то его нужно оптимизировать и думать об этом, лабам-то хорошо, что вы жжете токены =)

А ещё модели иногда сами добавляют при компактизации вредные инструкции 🙈 В отчёте OpenAI описаны случаи во время обучения: агент записывал себе указание выдумать недостающие данные и не говорить об этом пользователю, а после компрессии следовал этому указанию.

Так что компактизация тоже может накосячить. Важные решения, ограничения и результат работы лучше сохранять отдельно. Про долгосрочную память — в следующем посте.
@revealthedata #ai #agents