4 октября 2021 года сервисы Facebook, WhatsApp и Instagram* стали недоступны по всему миру почти на 6 часов.
❗️ Причина была не в коде.
Во время плановых работ сломали сетевой конфиг — BGP-анонсы пропали, DNS стал недоступен. Сервисы работали, но из интернета до них нельзя было добраться.
🔴 Ключевая проблема — отказ затронул и внутренние системы. Мониторинг, инструменты управления и даже доступ в дата-центры зависели от той же инфраструктуры. Быстро откатить изменения оказалось невозможно.
🔢 Какой вывод для нас:
— инфраструктурные изменения требуют end-to-end проверки
— нужно тестировать сценарии полного отказа, а не частичных сбоев
— мониторинг должен быть независим от прода
— rollback — такой же объект тестирования, как и релиз
Автотесты могут быть зелёными, релиз — успешным, но без системного тестирования инфраструктуры прод падает мгновенно.
*Корпорация Meta признана в РФ экстремистской
📍 Навигация: [Вакансии]
🐸 Библиотека тестировщика
#разбор_полетов