Как выявить критическое состояние сервера за 2 недели до отказа и предотвратить аварию
 
ИТ-инфраструктура редко выходит из строя внезапно. Как правило, отказу предшествуют недели или даже месяцы косвенных признаков. Автоматическое отслеживание таких процессов критически важно для стабильной работы.
 
Андрей Коротков, директор департамента интеграционных решений компании САТЕЛ, предлагает 5 практических способов прогнозирования состояния серверов и сервисов с помощью системы Энербас Зонтичный мониторинг.
 
🔘 Оценивайте не текущие значения, а динамику изменений
 
Значение метрики само по себе не всегда информативно. Разовый скачок загрузки процессора до 90% может быть случайностью, тогда как устойчивый волнообразный рост на графике в течение трех месяцев — серьезный повод для анализа. Если тренд уверенно стремится к верхней границе, требуется плановая оптимизация.
 
🔘 Настраивайте алерты не на пороговые значения, а на прогнозируемое время исчерпания ресурса
 
Алерт целесообразно настраивать не на остаток свободного места, а на временной горизонт, например, «до полного заполнения осталось 14 дней». Этого срока достаточно для принятия взвешенного управленческого решения.
 
🔘 Ищите первопричину отказа
 
Как правило, сбой начинается с одного компонента, а остальные выходят из строя следом за ним. Например, неполадки в RAID-массиве сначала приводят к росту задержек дисковых операций, затем — к задержкам работы сервисов, далее — к ошибкам в журналах базы данных. Выявление первопричины, а не реагирование на отдельные последствия, позволяет остановить развитие негативного процесса уже на ранних стадиях.
 
🔘 Сравнивайте метрики с аналогичными временными периодами
 
Сопоставляйте показатели с аналогичным временным интервалом. Если резкий скачок метрики повторяется в одно и то же время регулярно — вероятно, это плановая операция (например, резервное копирование базы данных). Если же в прошлые периоды наблюдалась стабильность, а сегодня скачок — это почти всегда сигнал о назревающей проблеме.
 
🔘 Анализируйте не только количественные метрики, но и текстовые логи
 
Собирайте и обрабатывайте журналы событий, особенно сообщения уровня WARNING и ERROR. Анализируйте динамику частоты их появления — если она растет, вы обнаружили потенциально опасный инцидент, требующий пристального внимания.
 
Превентивное управление инфраструктурой строится на корректных метриках, интеллектуальных порогах срабатывания, сравнительном анализе с аналогичными значениями в прошлых периодах и анализе журналов ошибок. Достаточно выполнить настройку один раз — и вы начнете получать предупреждения о возможных авариях за одну-две недели до их возникновения.
 
#лайфхаки