ИИ-агент Cursor, работающий на базе Claude Opus 4.6, всего за 9 секунд снёс подчистую всю базу данных стартапа PocketOS

Эта фирма делает софт для арендного бизнеса и решила перекинуть часть задач по разработке на нейросеть. Что могло пойти не так?

🟠Изначально агент крутился в тестовой среде, но словил ошибку доступа;
🟠Вместо того чтобы спросить разрабов, он решил пофиксить всё сам;
🟠ИИ нашёл в проекте API-токен от облачного сервиса и отправил запрос на удаление;
🟠В результате удалилась вся продакшн-база – более 1600 клиентов, платежи, брони, а также все бэкапы, потому что они лежали в том же месте;
🟠Восстановить данные невозможно;
🟠Самое дикое в этой истории – бот осознанно проигнорировал ограничения;
🟠В его системном промпте было чётко прописано не совершать опасных действий без разрешения, проверять гипотезы, а также висела строгая установка «NEVER FUCKING GUESS»;
🟠Но агент просто забил на инструкции;
🟠Когда его спросили о причинах, ИИ сам признался, что нарушил все правила, действовал наугад, без спроса и без понимания системы.

Ну чего, как повайбкодили