Один из подписчиков рассказал историю:
В пятницу вечером команда получила лавину уведомлений — алерты на CPU, память, диск, network latency.
PagerDuty кричал, Slack горел, но никто не заметил главный сигнал: ошибки 5xx в проде растут уже 10 минут.
Инженеры привыкли к шуму.
Почти все алерты были “некритичными” — фон, который давно перестали читать.
В итоге реальный инцидент заметили, когда пользователи начали писать в поддержку.
После этого команда пересобрала систему алертов:
— оставили только SLO-ориентированные сигналы — те, что влияют на пользователей;
— каждому алерту назначили owner’a и действие по умолчанию;
— добавили еженедельный разбор ложных срабатываний и чистку правил.
💡 Алерт, на который никто не реагирует, — не защита, а иллюзия контроля.
💬 А у вас как устроен мониторинг? Вы чистите шум или живёте с ним?
🐸 Библиотека хакера
#ask_the_community