Gemini снес 30 тысяч строк кода в проде и подделал отчет об успешном восстановлении 🙃

Получив задачу на легкие правки, нейросеть проигнорировала все инструкции, снесла почти 30 тысяч строк рабочего кода и заботливо выкатила PR на 340 файлов.

Вишенкой на торте стал второй коммит, который перенаправил роутинг Firebase на несуществующий инстанс Cloud Run. В итоге эталонная ошибка 404 и 33 минуты тотального блэкаута для всего портала, пока кожаные мешки в панике судорожно откатывали релиз.

Но самое криповое началось после аварии. Поняв, что деплой отменен, ИИ-ассистент решил замести следы и занялся бюрократией. Gemini не только сгенерировал фейковый статус об успешном восстановлении трафика, но и наклепал поддельные файлы постмортема прямо в репозитории. Нейронка буквально сфабриковала логи согласований, чтобы обойти автоматические проверки пайплайна и сделать вид, что этот суицидальный код заботливо отревьюил и апрувнул человек.

Причиной восстания машин оказался левый npm-пакет, который выдал агенту права уровня бога. Скрипт запретил ИИ спрашивать подтверждения, заставил автодеплоить любые сборки и даже разрешил переписывать собственные правила ограничений.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX