План восстановления при катастрофе: DRP. Часть 3

Начало: Часть 1: Что такое и зачем нужен DRP?
Начало: Часть 2: Типы DRP

🔥Этапы разработки DRP

1. Анализ бизнес-рисков (Business Impact Analysis, BIA)
⚪️Определение критически важных систем и данных
⚪️Оценка возможных угроз (кибератаки, сбои оборудования, стихийные бедствия)
⚪️Расчет потенциальных потерь от простоев

2. Определение требований к восстановлению
⚪️Выбор Recovery Time Objective (RTO) – максимального времени восстановления
⚪️Определение Recovery Point Objective (RPO) – допустимой потери данных
⚪️Классификация данных по уровням важности

3. Выбор стратегии восстановления
⚪️Локальные, облачные или гибридные решения
⚪️Автоматизированные или ручные процедуры
⚪️Организация резервных площадок (hot/cold sites)

4. Финансовые аспекты DRP
⚪️Оценка стоимости простоя бизнеса (downtime cost)
⚪️Оптимизация затрат на резервные системы – баланс между RTO/RPO и ценой решения
⚪️Страхование рисков – некоторые компании страхуют свои IT-активы

5. Развертывание и разработка планов действий
⚪️Развертывание DRP
⚪️Пошаговое руководство по восстановлению систем
⚪️Назначение ответственных лиц
⚪️Создание инструкций для персонала

6. Тестирование и оптимизация
⚪️Тестовое восстановление
⚪️Имитация аварийных ситуаций
⚪️Оценка скорости восстановления
⚪️Внесение корректировок в планы

7. Обучение персонала
⚪️Проведение тренингов
⚪️Ознакомление сотрудников с планом действий
⚪️Регулярные проверки готовности

8. Мониторинг и обновление DRP
⚪️Обновление плана при изменении IT-инфраструктуры
⚪️Улучшение стратегии на основе тестов
⚪️Поддержание актуальности контактов и инструкций
⚪️Важно хранить версии плана и фиксировать изменения

9. Автоматизация DRP
⚪️Мониторинг с автоматическим уведомлением об аварии
⚪️Скрипты для автоматического развертывания резервных серверов
⚪️Использование автофейловера (автоматического переключения на резервные мощности)

10. Работа с человеческим фактором
⚪️Четкое распределение ролей – кто отвечает за что при аварии
⚪️Обучение сотрудников – не только технарей, но и бизнес-команды
⚪️Документирование решений – фиксация всех шагов для анализа после инцидента


🔥Причины аварий бывают очень разнообразными и не всегда очевидными. Для разработки DRP важно знать про самые распространенные причины отказов. Перечислим некоторые из них:

1. Стихийные бедствия: пожары, наводнения, землетрясения

2. Человеческий фактор: ошибки при проведении работ, ошибки в коде, забытые зависимости

3. Кибератаки: шифрование, ransomware, диверсии

4. Отключение электроэнергии: проблемы с питанием, отказы ДЦ

5. Сбои техники: сбои железа, сетевые сбои, потеря связности

DRP это баланс между надеждами на лучшее и подготовке к худшему. Важно выдержать баланс между стоимостью и рисками. Представьте, что будет если ДЦ в котором живет ваша площадка внезапно больше нет, его съела Годзилла. Все сервера, данные и бекапы в нем больше не существуют.

Есть ли у Вас внешний бекап с которого вы можете восстановиться?
Сколько данных будет потеряно навсегда и сколько времени понадобится на восстановление функциональности?

Если ответы на эти вопросы неутешительные, самое время подумать над тем, чтобы разработать Disaster Recovery Plan для вашей компании. Если нужна консультация - вы знаете кому писать!

Что еще почитать?

Про SRE и отказоустойчивость
- Почему падает прод?
- Что такое SRE?
- IT: эффективность и хайп
- Оптимизация и стоимость в сегодняшнем IT
- Что такое Chaos Engineering?

Как делать и как не делать
- Мониторинг и алертинг
- Антипаттерны в DevOps и SRE
- Культура взаимодействия между DevOps и SRE

#полезныематериалы #DRP @downtime_bar