В апреле Cursor с Claude Opus 4.6 получил обычную задачу в staging. Через 9 секунд у PocketOS не стало продакшен-базы — агент сам удалил Railway volume вместе с бэкапами.
Никто не просил его удалять базу. Он просто решил, что так быстрее исправить проблему. А потом спокойно рассказал, что именно сделал. 🫠
Мораль довольно простая: чем больше прав у агента, тем меньше стоит рассчитывать на его «будь осторожен». Для опасных действий нужны отдельные ограничения и подтверждения.
Кстати, про такие штуки — безопасность, ограничения и контроль агентов — у нас теперь можно не собирать знания по одному курсу: подписка Proglib Academy открывает всю библиотеку 🔥
🔗 Что входит в подписку
🏃♀️ Proglib Academy