В основном ссылки для саморазвития.
https://t.me/rootway/1191 - список чатов
Post #1532
586
- 🔥 3
ПУ @rootway
Showing posts older than #1533 · Back to latest




Forwarded from Типичный Сисадмин

monitor и interfere). И она случайно переключалась в режим interfere прямо во время массовых протестов. Это не баг, это фича.
Forwarded from Sputnik Казахстан
Forwarded from Промпт - Наука и Техника


Forwarded from Кот Шрёдингера (Андрей Константинов)


Forwarded from Типичный Сисадмин

DNS Planner, который мониторит балансировщики и создает планы обновления DNS, и DNS Enactor, который эти планы применяет через Route 53. Для надежности в каждой зоне доступности работает свой независимый Enactor (или применяющий компонент). Все началось с того, что один Enactor столкнулся с аномально высокими задержками и завис, пытаясь применить старый план. В это время Planner продолжал генерировать новые, более свежие планы. Другой, более быстрый Enactor, подхватил свежий план, быстро его применил и запустил процедуру очистки. В рамках этой очистки он удалил тот самый старый план, с которым все еще возился первый, зависший Enactor. И ровно в этот момент первый Enactor наконец завершил свою затянувшуюся работу и применил свой, уже удаленный из системы, план. В итоге для регионального эндпоинта dynamodb.us-east-1.amazonaws.com была создана пустая DNS-запись, а система вошла в неконсистентное состояние, заблокировав дальнейшие автоматические обновления.DropletWorkflow Manager (DWFM), отвечающий за управление жизненным циклом физических серверов, критически зависит от DynamoDB. Когда DNS отвалился, DWFM перестал продлевать временную блокировку (leases) на физические хосты. После того, как DNS для DynamoDB подняли вручную, DWFM попытался пересоздать аренду для всего парка EC2 в регионе одновременно. Это вызвало состояние, которое инженеры Amazon назвали congestive collapse, типа "застойный коллапс", когда система захлебнулась в собственном потоке задач на восстановление, и ее пришлось реанимировать вручную, выборочно перезапуская хосты.Network Manager, из-за чего новые инстансы EC2 запускались без сети. Это, в свою очередь, привело к хаосу в Network Load Balancer: хелсчеки новых инстансов проваливались, NLB выкидывал их из ротации, потом сеть поднималась, хелсчек проходил, NLB возвращал их обратно. Эта постоянная чехарда вызвала деградацию самого сервиса хелсчеков. Ну а дальше по цепочке посыпались Lambda, ECS, EKS, Fargate и все остальные, кто зависит от нормальной работы EC2.