Как в MWS Cloud тестировали отказоустойчивость платформы и при чём тут швейцарский сыр

Облако проектировали так, чтобы оно пережило потерю целого дата-центра: диски и сетевые карты отваливаются только в путь, площадки склонны отмирать, а над двумя линиями оптики в десяти километрах друг от друга идут две независимые стройки, где операторы экскаваторов начинают рабочий день в одно и то же время. Всё это заложено в архитектуру. И прежде чем сказать рынку «у нас теперь тоже облако», решили проверить честно — погасить зону доступности прямо на проде. Неделя подготовки, сорок инженеров в чате, отдельный логотип для координации.

День X: гасят внешние линки одной зоны. По ощущениям — легло всё. Консоль недоступна целиком, объектное хранилище тоже. В системе, которую с фундамента строили ровно под этот сценарий.

А дальше — чуть больше двух недель разбора, как в такой конструкции дырки на всех слоях защиты умудрились выстроиться в одну линию.