Постмортем инцидента в зоне MSK-1 (09.04-10.04)

Подготовили подробный разбор инцидента с дисковой подсистемой. Детали, таймлайн и принятые меры по ссылке ниже.

Подробный технический разбор →

Коротко о причинах
• Ошибка СХД спровоцировала reboot loop узлов хранения. Рекурсивные перезагрузки вызвали оверлоад шины данных.
• Зависание процессов виртуальных машин на уровне гипервизоров, I/O wait и сетевая недоступность из-за блокировки системных процессов ОС.

Что сделано
• Внедрены сценарии каскадных отказов в протоколы тестирования.
• Запущен подбор альтернативных СХД для диверсификации рисков.
• Автоматизирован сброс сессий гипервизора при зависшем I/O.