Один техник забыл раскатать релиз на ОДИН сервер из восьми. Через 45 минут от компании остался труп с ценником −$440 000 000. 🔥

1 августа 2012, открытие NYSE. Торговая система Knight Capital срывается в неуправляемый автозакуп: за 45 минут — около 4 миллионов исполненных сделок по 154 бумагам. Причина инфернальная. Во время деплоя новый код забыли выкатить на один из восьми серверов. А на этом сервере с 2003 года валялся мёртвый модуль Power Peg — код, который девять лет никто не запускал, но и удалить поленились. Новый релиз переиспользовал старый флаг — и зомби ожил ровно на одной ноде. Итог: около $440 млн убытка (по данным SEC — свыше $460 млн), штраф SEC, и через пару месяцев контору по сути сожрали. Похоронили её незакрытый техдолг и ручной деплой. Хакеры тут вообще ни при чём.

С тех пор прошло 14 лет. И ты вчера так же потел над кнопкой Deploy, молясь, чтобы не ожил какой-нибудь флаг из 2019-го, который «потом уберём».

Колись, блять: какой самый ЭПИЧНЫЙ прод ты уронил? На сколько денег или часов простоя? Что ожило, что ты забыл выключить, что забыл раскатать на всю? Устроим мерялку катастроф в комментах — обязательно с цифрами.

Свою катастрофу деплоя тащи в @dezhurka_hellgate_bot КРУГЛОСУТОЧНО (анонимно, следы вычистим). Узнал свой страх поздней выкатки — форварни тому, кто катит прямо сегодня вечером. 😈🔥

*Источник: административный ордер SEC (Release No. 70694) и Knight Capital Group — Wikipedia.