❤️ Что зарезервировать, чтобы пережить потерю ЦОДа: памятка

За неделю из строя вышли три площадки Яндекса: Сасово, Калуга и Владимир. Yandex Cloud перешёл в аварийный режим. К сожалению, быстро восстановить работу проекта в такой ситуации помогает только наличие резерва и/или бэкапов у другого провайдера.
Мы подготовили для вас памятку: Что можно и нужно проверить сейчас, чтобы в случае подобного форс-мажора иметь возможность быстрого восстановление проекта.

Бэкапы должны храниться у другого провайдера или на собственном оборудовании вне основного дата-центра.

➡️Что обязательно нужно сохранить

1. Базы данных

• Полные бэкапы PostgreSQL, MySQL и других используемых СУБД.
• Журналы транзакций (WAL, binlog), если важно восстановление на конкретный момент.
• Конфигурации СУБД, роли, права и расширения.
• Для критичных систем в иделе иметь реплику у независимого провайдера.

Важно: автобэкапы managed-баз не заменяют независимую копию.

2. Файлы и объектные хранилища

• Пользовательские загрузки, документы, медиафайлы.
• Содержимое S3-бакетов и файловых хранилищ.
• Данные с постоянных дисков, которые нельзя воссоздать автоматически.

На резервном хранилище включите версионирование и, по возможности, защиту от удаления (Object Lock).

3. Код и CI/CD

• Git-репозитории, включая историю и теги.
• Конфигурации пайплайнов.
• Настройки CI/CD, раннеров и интеграций.
• Необходимые переменные и секреты — в отдельном защищённом хранилище.

4. Docker-образы и зависимости

• Все образы, которые сейчас используются в production, с точными версиями или digest.
• Собственные базовые образы.
• Критичные пакеты и зависимости, если их повторная загрузка не гарантирована.

5. Конфигурации инфраструктуры

• Terraform, Ansible, Helm charts и values.
• Terraform state.
• Конфигурации Nginx, HAProxy, приложений и балансировщиков.
• Сетевые настройки, правила firewall, маршрутизацию.

6. Секреты, ключи и сертификаты

• Секреты приложений и сервисных аккаунтов.
• Ключи шифрования резервных копий.
• TLS-сертификаты или механизм их автоматического перевыпуска.

7. Очереди, кеши и другие stateful-сервисы

• RabbitMQ, Kafka: конфигурации, топологию, права и критичные данные, если их необходимо сохранить.
• Redis: настройки и резервные копии, если он используется не только как кеш.
• Поисковые индексы и другие хранилища, которые невозможно быстро пересоздать.

8. Внешние интеграции и сетевые соединения

Составьте и сохраните вне основной инфраструктуры список внешних сервисов, с которыми взаимодействуют ваши приложения. С кем интегрированы: внешние API, платёжные системы, партнёры, SaaS-сервисы и другие системы.

Для каждой интеграции зафиксируйте:

- Адреса, порты, протоколы и направления соединений.
- Используемые IP-адреса и правила whitelist.
- VPN-туннели, приватные соединения и маршруты.
- Конфигурации подключений и необходимые сертификаты.
- Контакты технических специалистов и ответственных со стороны партнёров.

Отдельно: если у вас Kubernetes

Для восстановления Kubernetes недостаточно сохранить манифесты приложений.

Проверьте, что у вас есть:

• Описание инфраструктуры: Terraform или другие инструменты для создания нового кластера, сетей, узлов и балансировщиков.
• Бэкапы Persistent Volumes: независимые копии данных, а не только снапшоты дисков текущего облака.
• План развёртывания: порядок восстановления системных компонентов, операторов, баз данных и приложений.

Если кластер managed, отдельно проверьте, что его можно создать у другого провайдера, а приложения не зависят от специфичных сервисов текущего облака.

➡️Что сделать прямо сейчас, если времени мало?

1. Выгрузить актуальные резервные копии баз и критичных файлов на независимую площадку.
2. Сохранить production-образы и убедиться, что доступны исходный код и конфигурации.
3. Проверить доступность секретов, ключей шифрования, DNS и административных учётных записей.
4. Зафиксировать порядок восстановления и ответственных.
5. Проверить восстановление хотя бы одного критичного сервиса из резервной копии.