Мониторинг

Сегодня прилёг один из рабочих проектов.

Ранним воскресным утром, пока все ещё сладко спали в постельках, сошёл с ума балансировщик и стал отдавать ошибку 503.

Мы ничего не трогали, балансировщик настраивали пару недель назад через облачный сервис хостера, так что виноват хостер. Что-то начудили там.

Быстренько перекинув DNS в обход балансировщика напрямую на сервер, мы пофиксили проблему.

Но сайт пролежал несколько часов, прежде чем проблему заметили и позвонили мне.

При этом в мессенджер писали, но я телефон не брал в руки поэтому не видел что кто-то пишет. Телефон в этот раз был в беззвучном режиме.

Выводы?

1. Объяснил команде, что если что-то лежит, надо не писать в телеграм, а самостоятельно принимать меры либо звонить.

2. Запланировал настройку мониторинга и алертов на состояние сайта, с уведомлениями на старшего по проекту и меня.

3. Чем сложнее система тем больше точек где она может дать сбой.

P.S.

Если знаете хорошие сервисы для мониторинга с алертами — поделитесь, пожалуйста.