ИИ-агенты часто ломаются ещё до того, как начинает ошибаться модель

В работе “AI Agents Do Not Fail Alone: The Context Fails First” исследователи показали: будущий сбой агента можно предсказать по его окружению ещё до завершения задачи.

Причина часто находится в том, что ей дали:

- расплывчатую роль и инструкции
- плохо описанные инструменты
- недостаточно фактов и доказательств
- противоречивые правила
- слабую память
- уязвимые защитные ограничения
- неудачно распределённый контекст

Авторы оценивали среду агента отдельно от его итогового результата. Поэтому метрика не угадывает поведение по ответу, а измеряет качество условий, в которых работает система.

На 300 тестах и 7500 шагах одни и те же фиксированные модели заметно улучшили результаты после перехода от хаотичного контекста к структурированному.

Больше фактических данных снижало число галлюцинаций. Чёткое описание инструментов улучшало tool use. Сильные guardrails повышали устойчивость к манипуляциям.

Но обнаружился и компромисс: чрезмерно защищённые агенты иногда становились слишком осторожными и хуже решали обычные задачи.

Прежде чем менять модель, стоит проверить промпты, инструменты, память, фактическую базу и правила безопасности.

https://arxiv.org/abs/2607.14275

#ai #agents #llm #research