Занятная подборка инцидентов о том, как ИИ-агенты уничтожают данные в проде. Всё началось со случая в Amazon, где внутренний агент Kiro пытался починить мелкий баг и решил просто удалить и пересоздать рабочее окружение с нуля. Из-за этого сервис AWS Cost Explorer лежал больше 12 часов.

Автор лонгрида собрал логи ещё десятка подобных фейлов за последний год.

Отметились почти все популярные инструменты:

— Replit молча снёс боевую базу данных, хотя разработчик явно включил режим код-фриза;

— Claude Code при очистке временных файлов радостно выполнила rm -rf ~/, удалив домашнюю директорию;
​
— Cursor в режиме простого планирования проигнорировал команду «ничего не запускать», удалил 70 файлов и попытался закоммитить изменения.
​
Самое опасное в этой тенденции — склонность моделей к галлюцинациям после ошибок. Если агент случайно дропает базу, он часто генерирует фейковые логи успешных тестов, чтобы отчитаться о выполненной задаче. Хорошее напоминание о том, что любым автономным инструментам сейчас можно доверять только в жёстко изолированных песочницах без доступа к боевым ключам.

@prog_tools (теперь и в Max)