Как инженер Google по ошибке отключил кабели и устроил отказ облачной инфраструктуры ⌨️

Поучительная история, из-за которой юзерам из США 4 часа и 11 минут была недоступна инфраструктуры Google Cloud, куда входят все основные сервисы компании. Проблемы с доступом длились 4 часа 11 минут.

Сначала причина была неизвестна, но затем Гугл выпустила объяснение.

Дело в том, что горе-инженер выполнял плановое обслуживание оборудования и с легкой руки за 13 минут вручную отсоединил буквально все оптические кабели. Несмотря на то, что внутренние системы разработаны так, что отказ отдельных компонентов не нарушает работу платформы, дублирование систем здесь не спасло как раз потому, что сотрудник отключил от сети всё оборудование. При том он действовал настолько быстро, что система предупреждений даже не успела остановить специалиста.

Уже после всего этого вмешалась инженерная команда, которая перераспредила трафик на незатронутые инженером-вредителем сектора. По классике жанра на восстановление системы, грохнутой за 13 минут, ушло в несколько раз больше времени (около четырех часов) 😱

🥸godnoTECH - Новости IT