📌 Все компоненты зелёные, а продакшн лежит: разбор аварии, которую нашли в git

Инфраструктура была покрыта кодом почти на сто процентов. Мониторинг покрыты все компоненты. В момент аварии все метрики базы данных были идеальными, соседние сервисы на том же сервере СУБД работали без единой ошибки, провайдер облака показывал зелёный статус.
При этом продакшн лежал двадцать минут, и первые пятнадцать никто не понимал, что происходит.
Причина лежала в истории изменений инфраструктуры, и за первые пятнадцать минут туда не посмотрел никто.
Дисклеймер про обезличивание
Разбор настоящий, авария была на проекте с миллионом с лишним пользователей в день, в период переезда инфрастр…

🔗 Источник: habr.com

#sysadmin #server

📲 Подписывайся на канал 👉 @PRO100ITru