Чтобы понять механику сбоя, нужно вникнуть в их архитектуру. У них есть два независимых компонента:
DNS Planner, который мониторит балансировщики и создает планы обновления DNS, и DNS Enactor, который эти планы применяет через Route 53. Для надежности в каждой зоне доступности работает свой независимый Enactor (или применяющий компонент). Все началось с того, что один Enactor столкнулся с аномально высокими задержками и завис, пытаясь применить старый план. В это время Planner продолжал генерировать новые, более свежие планы. Другой, более быстрый Enactor, подхватил свежий план, быстро его применил и запустил процедуру очистки. В рамках этой очистки он удалил тот самый старый план, с которым все еще возился первый, зависший Enactor. И ровно в этот момент первый Enactor наконец завершил свою затянувшуюся работу и применил свой, уже удаленный из системы, план. В итоге для регионального эндпоинта dynamodb.us-east-1.amazonaws.com была создана пустая DNS-запись, а система вошла в неконсистентное состояние, заблокировав дальнейшие автоматические обновления.Дальше начался каскадный ад. Внутренний сервис EC2 под названием
DropletWorkflow Manager (DWFM), отвечающий за управление жизненным циклом физических серверов, критически зависит от DynamoDB. Когда DNS отвалился, DWFM перестал продлевать временную блокировку (leases) на физические хосты. После того, как DNS для DynamoDB подняли вручную, DWFM попытался пересоздать аренду для всего парка EC2 в регионе одновременно. Это вызвало состояние, которое инженеры Amazon назвали congestive collapse, типа "застойный коллапс", когда система захлебнулась в собственном потоке задач на восстановление, и ее пришлось реанимировать вручную, выборочно перезапуская хосты.Этот коллапс вызвал огромную очередь на обновление сетевых конфигураций в
Network Manager, из-за чего новые инстансы EC2 запускались без сети. Это, в свою очередь, привело к хаосу в Network Load Balancer: хелсчеки новых инстансов проваливались, NLB выкидывал их из ротации, потом сеть поднималась, хелсчек проходил, NLB возвращал их обратно. Эта постоянная чехарда вызвала деградацию самого сервиса хелсчеков. Ну а дальше по цепочке посыпались Lambda, ECS, EKS, Fargate и все остальные, кто зависит от нормальной работы EC2.В итоге система, созданная для предотвращения сбоя, вызвала сбой. Система, созданная для восстановления после сбоя, рухнула от нагрузки во время восстановления. Вот вам и отказоустойчивость 🎩
Типичный 🥸 Сисадмин