С 7 по 11 октября Яндекс сообщил о повреждении инфраструктуры дата-центров в Сасово, Калуге и Владимире, повлиявшем на доступность части сервисов. Ситуация затронула отдельные системы наших заказчиков и внутренние системы DBI.
По состоянию на 13 октября:
🟦 Часть клиентских систем переключена на резервные мощности;
🟦 Работоспособность внутренних систем DBI восстановлена;
🟦 По отдельным сервисам восстановление и проработка альтернативных вариантов запуска продолжаются.
Мы используем несколько площадок, включая Yandex Cloud. Последствия сбоя различались в зависимости от архитектуры систем и готовности резервных сред.
Михаил Сарычев, генеральный директор DBI:
«Для нас принципиально важно, чтобы заказчик получал работающий сервис и понятный план действий на случай нештатной ситуации, а не только инфраструктуру или набор технических инструментов. Надёжность измеряется не обещаниями о полной безотказности, а способностью команды эффективно реагировать на сбои, быстро восстанавливать работу системы и повышать её устойчивость после каждого инцидента».
Мы рекомендуем компаниям обратить внимание на пять практических аспектов:
🟦 Проверять восстановление из резервных копий;
🟦 Хранить резервные копии независимо от основной площадки;
🟦 Подтверждать готовность резервных мощностей;
🟦Регулярно тестировать сценарии переключения и восстановления;
🟦 Определить приоритеты и ответственность.
Необходимо проверять, что резервные копии актуальны, доступны и содержат всё необходимое для восстановления. Регулярное тестовое восстановление позволяет убедиться в их пригодности и заранее выявить проблемы, которые могут помешать запуску сервиса.
🟦Подробнее о ситуации🟦
💙 ВКонтакте |💬 MAX