✈️ Разбор полётов

Недавний масштабный сбой в IT-инфраструктуре Аэрофлота — не просто технический инцидент, а пример системного провала. Давайте устроим компании postmortem.

Кратко: что случилось

• Аэрофлот на несколько часов остановил бронирования, регистрацию и доступ к сайту.

• Все системы зависели от централизованной IT-инфраструктуры, которая была выведена из строя.

• По симптомам — возможен сбой ЦОД, отказ кластеров, падение критических сервисов.

🛠 Что можно было сделать

1. Geo-распределённая отказоустойчивая архитектура

Active-active или хотя бы active-passive в двух независимых регионах, например, использование облаков с мультирегиональной поддержкой.

2. Резервные каналы связи и DNS Failover

Ротация DNS на резервную инфраструктуру — классическая страховка. Cloudflare Load Balancer, Route53, NS1 — дают гибкость при переключениях.

3. Холодный и горячий Disaster Recovery план

Тестируемый DR-сценарий с переключением в течение 15 минут. Как минимум – ежедневная проверка резервных копий и симуляции отказов.

4. Тестирование отказов хаосом

Периодическая случайная остановка нод или симуляция отказа БД.

5. Автоматизация развёртывания и восстановления

Возможность воссоздать инфраструктуру за час, а не за сутки вручную. GitOps с Terraform, Ansible, Pulumi, ArgoCD для восстановления конфигурации в любой момент.

Крупный бизнес без продуманной стратегии отказоустойчивости — это только вопрос времени, когда «всё упадёт».

💬 Что бы вы использовали для предотвращения такого инцидента? Или чем бы пользовались уже пост фактум для восстановления?

🐸Библиотека devops'a #междусобойчик