​​Пирамида Мониторинга

Представьте, что ночью вам звонит разгневанный начальник, которого разбудил его начальник, которого … , который узнал от пользователей, что прод упал.
Этого можно избежать, если продукт хорошо покрыт мониторингом.

Сначала введем термин «Пирамида Мониторинга».
Аналогично Пирамиде Тестирования, предлагаю разделить мониторинг на слои по степени детализации.

Посмотрим на эту пирамиду снизу вверх:

📌 Базовый слой — Мониторинг инфраструктурных юнитов.
Сеть, железо, базы данных, виртуалки, кластерное взаимодействие. Пинги между хостами, температура процессоров, ресурсы на виртуалках. Сюда же можно отнести взаимодействие компонентов распределенных систем, например отставание реплик баз данных. По этим метрикам всегда понятно, что чинить.

📌 Средний слой — Мониторинг интеграции приложений и инфраструктуры.
Liveness probes, метрики частоты успешных и ошибочных клиентских запросов, тайминги выполнения этих запросов.
Из этих метрик уже не всегда бывает понятно, что чинить. Например, если начинаются задержки в доставке SMS-подтверждений, можно переключить на другой шлюз. Но если возрастает время обработки пользовательских запросов, нужно смотреть в низлежащие компоненты: другие сервисы, базы данных. Возможно, пришло время оптимизировать хранилище и SQL запросы.

📌 Самый верхний слой — Мониторинг бизнес-метрик.
Работоспособность пользовательских сценариев и критериев приемки фич.
Покрыть все возможные технические и интеграционные метрики мониторингом невозможно. Спасает бизнес-мониторинг, максимально широко покрывающий продукт. Просевшая конверсия по платежам не дает понимания, как чинить. Но срабатывание мониторинга даст информацию о том, какой пользовательский сценарий сломался и команда разработчиков может подключиться к починке.

📌 Самый-самый верхний слой — Клиент, у которого не работает.
Тут без комментариев 🙈 В идеале, этот слой мониторинга не должен быть задействован.

Обычно системные администраторы заботятся о мониторинге инфраструктуры, а разработчики — о мониторинге приложений.

Часто бывает, что продукт обделён бизнес-мониторингом. Иногда он заботит менеджеров, но чаще всего о его потенциальном существовании не знают или на него просто забивают.

Заботьтесь о мониторинге, и он позаботится о вас 😉