Постмортем инцидента с обновлением libvirt

Сегодняшний инцидент, затронувший ~1% виртуальных серверов, был связан с редкой ошибкой в автоматизированном процессе обновления libvirt. Ранее на этапах автоматических и ручных тестов проблема не воспроизводилась.

⏳ Хронология событий

1. 4 года назад была внедрена автоматизация для плановых обновлений libvirt (ежедневно 17:00–23:00 мск).

2. Вчера было проведено плановое обновление пакетов, включая libvirt.

3. Сегодня вечером сработал мониторинг на аномальные отключения серверов. Процесс обновления был экстренно остановлен, запущен процесс включения серверов. К 19:50 мск работа серверов была полностью восстановлена.

🔎 Корневая причина

Некорректный сброс флагов cgroups в процессе обновления (уникальный, ранее не встречавшийся кейс).

🛠️ Принятые меры

1. Полная остановка «виновного» скрипта обновлений, заморозка обновлений libvirt.

2. Пересмотр процесса тестирования: увеличение этапов постепенного rollout, расширение тестовых сценариев.