«Черная пятница» бывает страшной: техлид из Yandex Cloud рассказал, как один небольшой факап превратился в снежный ком и пошатнул устойчивость облачной платформы.

В конце 2024 у ребят упал сетевой контроллер — вроде мелочь. Но баг с маршрутами и миграции виртуалок разогнали нагрузку, а защиты не сработали. Несколько зон сразу вышли из строя, и команда поняла, что чинить один компонент мало 🤬

В итоге была проведена огромная работа над ошибками: добавили fail-safe, «царь-рубильник» для зон, ограничили очереди задач и прокачали релизы. Теперь никакие сбои не превращаются в катастрофу.