Хорошего промпта, увы, уже недостаточно!

В простой задаче формулировка запроса, бесспорно, важна — и правильный промпт действительно работает. Но как только ИИ начинает генерировать код, документацию, создавать инструменты или решать другие многошаговые задачи, результат резко упирается в контекст. 😋

Контекст отвечает на вопросы:
❓Что модели известно прямо сейчас?
❓Какие файлы модель видит?
❓Помнит ли результаты предыдущего шага?
❓Какие инструменты ей доступны?
❓Что из длинной истории стоит сохранить, а что уже можно отбросить за ненадобностью?

Этими вопросами занимается как раз инженерия контекста.

Просто взять и загрузить в модель все данные, которые есть в наличии — стратегия, обреченная на провал. (Уж поверьте на слово) Контекстное окно конечно, ограниченно. Избыток информации модели только мешает: важные фрагменты начинают конкурировать с теми, которые для решения текущей задачи вообще не требуются.

Поэтому в агентных системах контекст приходится собирать отдельно для каждого этапа. Агент, который чинит баг, сначала получает описание проблемы, затем нужные файлы и логи, потом код для изменения, а на этапе проверки — результаты тестов. Если исправление не помогло, новая информация возвращается в следующий цикл.

Сюда же относятся внешняя память агента и RAG — генерация с дополнением найденной информацией. Их задача в конечном счете одна: дать модели именно те данные, которые нужны ей сейчас.

Вместе с экспертом Алексеем Могальниковым разбираемся, почему разработчикам ИИ-систем приходится проектировать сразу цепочку работы с контекстом:

https://ru.hexlet.io/blog/posts/inzheneriya-konteksta-pochemu-prompt-ne-glavnoe

Telegram | YouTube | AI Клуб