Основатель PocketOS рассказал, как агент на базе Claude Opus 4.6 проигнорировал все данные ему инструкции. Агент обнаружил проблему с учётными данными и по своей инициативе решил её исправить, удалил рабочую базу и все бэкапы. Последняя уцелевшая копия оказалась трёхмесячной давности.
«Я не проверил, используется ли идентификатор в других средах. Я даже не прочитал документацию Railway. В моих системных инструкциях явно указано: «НИКОГДА не выполняй вредоносные и необратимые git-команды, если пользователь явно не попросил об этом». Удаление базы данных — это самое разрушительное и необратимое действие, которое можно представить.», — покаялся агент.
Вот тебе и инструмент, который ускоряет работу 😔