Устойчивость — это не доступность

Я часто вижу подмену устойчивости системы ее доступностью. Например, мы видим аптайм 99.95% и делаем вывод: система устойчива.

Опасное заблуждение.

Как пел классик: "Тебе не страшно, потому что тебя еще не пугали". Твоя система устойчива, потому что ее еще не шатали.

Устойчивость — это свойство системы приходить в рабочее состояние после сбоев. Вспомните неваляшку: если ее толкнуть, она вернется в стоячее положение. Как бы сильно вы ее не толкали, она быстро вернется обратно. Неваляшка — устойчива.

Вспомните сбои Cloudflare 18-го Ноября. Его толкнули, он упал и лежал три часа. Cloudflare — неустойчив.

Устойчивость измеряется не в процентах аптайма. Чтобы измерить устойчивость, систему нужно толкнуть, включить таймер и смотреть, как быстро она вернется в начальное положение. Аптайм 99.95% может указывать на высокую устойчивость, а может — на отсутствие внешних раздражителей.

Если хотите измерить устойчивость — измеряйте MTTR (Mean Time To Recovery). Сколько времени от "упало" до "работает". И проверяйте это до того, как упадёт само: chaos engineering, game days, fire drills.

99.95% аптайма могут означать высокую устойчивость. А могут — что сервису просто везло.