Почему миллион токенов не гарантирует, что AI поймет ваш проект? 🧠

Развитие LLM долго измеряли цифрами: больше параметров, контекста и прочих составляющих. Особенно впечатляюще выглядит рост контекстных окон. Кажется логичным: если модель способна принять больше информации, значит, ей можно показать практически весь проект и проблема понимания контекста исчезнет. Но в реальной разработке все сложнее.

Проект — это не просто набор файлов, который нужно положить в пропмт. Это архитектура, зависимости, документация, история изменений, бизнес-логика, соглашения команды и огромное количество информации, которая может быть важна для одной задачи и совершенно бесполезна для другой. Поэтому вопрос постепенно меняется с «сколько контекста помещается?» на «какой контекст действительно нужен прямо сейчас?».

AI должен не просто иметь доступ к информации, а уметь находить нужную ее часть, связывать ее с текущей задачей и использовать в правильной последовательности. Это особенно важно для агентных сценариев. Когда AI не просто отвечает на вопрос, а несколько минут или часов работает над задачей, ему приходится постоянно возвращаться к проекту, находить новые зависимости и использовать результаты предыдущих действий. Именно поэтому в AI-разработке появляется отдельная инфраструктурная задача — управление контекстом.

Хороший оркестратор не пытается передать модели все. Он помогает передать ей нужное: проект, файлы, документацию, репозиторий, инструменты и результаты предыдущих шагов. Потому что настоящий контекст — это не количество токенов, это способность системы понимать, какая информация имеет значение для конкретной задачи. 🧘‍♀️