История о том, как чрезмерное доверие к AI-ассистентам в связке с IaC может за пару минут уничтожить продакшен-инфраструктуру, которая создавалась годами.
Автор истории решил перенести статический сайт с GitHub Pages в AWS и развернуть новую Django-версию. Ради копеечной экономии на VPC ($5–10) он решил подселить новый сайт в существующую инфраструктуру платформы управления курсами. Делать это помогал ИИ-агент (Claude Code).
Что произошло:
⚪️Разворачивая проект на новом ПК, автор забыл перенести Terraform state. Запущенный агентом
terraform plan решил, что ничего не существует, и начал плодить дубликаты.⚪️Пытаясь навести порядок, автор принёс архив со старого ПК. Агент распаковал его и затер текущий стейт старым, вернув в него описание реального прода.
⚪️Агент предложил: «Давай выполним
terraform destroy, чтобы начисто удалить дубликаты». Автор согласился. Результат: полностью уничтожен прод и стёрты данные за 2.5 года.Вместе с базой удалились и все автоматические RDS-снапшоты — это стандартное поведение AWS, если не защититься от этого в конфигах заранее.
Как спасали прод:
⚪️Обычная поддержка не помогала, пришлось экстренно переходить на тариф AWS Business Support (+10% к облачному счету), чтобы получить ответ за час.
⚪️Инженеры AWS Support подтвердили, что скрытые бэкапы на стороне AWS еще живы, и передали их внутренней команде на восстановление.
⚪️На полное оживление базы (в одной только таблице ответов было почти 2 млн строк) ушло около 24 часов.
Выводы автора истории и дальнейшие шаги читайте в полной статье.
👈 Читать разбор инцидента
@DevOpsKaz 😛