1) Расход токенов. Цикл, который гоняет сам себя, жжёт токены заметно быстрее ручной работы.
2) Зелёные тесты закрывают только то, что в них написано, а принимаете вы по ним всю работу целиком.
3) Деградация архитектуры. Агент решает свою узкую задачу и может нарушить общий замысел системы.
4) Скорость чтения это ваш потолок. Код появляется быстрее, чем вы успеваете его осмыслить и принять инженерное решение.
5) Привычка не вникать, она приходит сама, когда цикл крутится без вас.
27 апреля 2026 года в компании PocketOS автономный агент удалил боевую базу вместе с резервными копиями. Задача у него была рутинная, работал он через Cursor на Claude Opus 4.6. По словам основателя, на это ушло девять секунд. Сервис лежал 30 часов, потеряны три месяца данных о бронированиях и клиентах.
Сам агент потом написал, в переводе:
Я предположил вместо того, чтобы проверить.
Случай занесён в реестр инцидентов OECD.
Перед необратимым действием нужна отдельная проверка и нельзя её доверять агенту.
Список необратимых действий пишется заранее: удаление данных, миграции боевой базы, отправка писем наружу, любые операции с деньгами.
Источник: реестр инцидентов OECD.AI