Небольшие советы из практики по настройке Zabbix, которые уменьшат спам от триггеров. Если развернуть Zabbix, взять стандартные шаблоны, применить к хостам и всё это запустить в работу, то очень скоро на мониторинг никто не будет обращать внимание. Мониторинг всегда нуждается в калибровке. Она может быть очень простой на базе небольших изменений стандартных настроек, а может быть очень глубокой с полной заменой всех базовых шаблонов на свои. Я расскажу про первый вариант.

1️⃣ Я практически везде настраиваю отложенные уведомления. Это не очень красивый, но самый простой и быстрый вариант существенно уменьшить спам уведомлений. Не очень красивый он потому, что триггеры всё равно будут срабатывать, но уведомления будут приходить только о тех триггерах, что активны более 5-ти минут. Настраивается это в стандартном правиле уведомлений о триггерах. Там всё делается очень просто. Настройка описана в моей статье.

2️⃣ Триггеры в стандартных шаблонах могут вести себя в целом нормально, но на каких-то хостах вызывать спам. Например, у вас триггер на занятое место на диске в 80%. Если ночью делается дамп БД, потом он сжимается, копируется и удаляется на исходном хосте, вы каждую ночь будете получать уведомление о занятом месте. То есть в момент окончания создания дампа у вас занято 82%, дамп сжимается, пересылается и удаляется, и занято снова 70%, что в целом нормально. И 80% нормально для этой ситуации.

В этой ситуации вам нет смысла менять триггер в изначальном шаблоне. Можно его просто отключить на этом хосте, но не хочется. Конкретно в этом примере вопрос можно решить изменением макроса, если он используется в выражении триггера, но так бывает не всегда. Я в этом случае просто копирую в этом хосте данный триггер, настраиваю его так, как мне нужно, а тот, что наследуется из шаблона, отключаю. Получается не очень красиво, так как появляется непереносимая привязка на конкретном хосте, но если это нужно редко и не хочется готовить для таких хостов отдельные шаблоны, то пойдёт.

3️⃣ У меня часто бывает так, что какой-то триггер или несколько спамят, но прямо сейчас мне лень ими заниматься или нет возможности. Чтобы потом разом их все откалибровать, можно зайти в раздел Отчёты ⇨ Топ 100 триггеров, посмотреть там самые активные и вручную с ними поработать.

4️⃣ Очевидный совет, но добавлю, чтобы был готовый список действий. Я почти всегда отключаю те или иные правила обнаружения, которые мне не нужны, либо правлю их. На Windows хостах всегда в стандартном шаблоне отключаю правило автообнаружения служб, а на Linux - в правиле автообнаружения блочных устройств отключаю триггер на отклик диска при операциях чтения/записи. Я не скажу, что эти данные бесполезны, но на практике они дают очень много срабатываний, которые лично для меня практической пользы не несут.

Альтернатива всем этим действиям - создание собственных шаблонов, где во-первых, стоит использовать только те айтемы, что вам реально нужны. Во-вторых, стоит особое внимание обратить на зависимость триггеров. Их грамотная настройка очень сильно снижает количество бесполезных событий мониторинга. Это в разы увеличивает затраты на начальное внедрение, но компенсируется в процессе эксплуатации. Особенно на больших инфраструктурах, где не вы один следите за мониторингом.

#zabbix