🔥 Сегодня вечером в Рунете случился эпичный блэкаут.

На скрине с графиком MSK-IX (главной точки обмена трафиком в РФ) запечатлен момент клинической смерти... буквально за минуты объем передаваемого трафика рухнул с 7.8 Тбит/с до 3 Тбит/с. В бездну улетело почти 5 терабит трафика всей страны.

В Гагаринском районе Москвы произошла авария на электросетях. И по случайному совпадению именно там находится знаменитая девятка... или ММТС-9 - главное здание Рунета, где физически стыкуются кабели почти всех провайдеров, хостеров и бигтеха.

Если чекнуть тех документацию М9, то на бумаге девятка - это неприступная энерго крепость:
🟢 Электроснабжение 1 категории надежности.
🟢 4 (ЧЕТЫРЕ!) независимых питающих центра (ТЭЦ-20 и три подстанции).
🟢 Двухлучевые и трехлучевые автоматы ввода резерва.
🟢 Аккумуляторные батареи постоянного тока, рассчитанные на час автономной работы.
🟢 Резервные дизель-генераторы.

Но тут на районе гаснет свет. И вся система резервирования 1 категории просто делает пуньк... и не заводится. ИБП не держат, дизели не стартуют (или не вывозят переключение АВР, хз). Главный коммутатор страны обесточивается.

А дальше случается классика жанра, которую проходят на курсах для сетевиков. Когда М9 погасла, миллионы BGP-сессий порвались. Умные маршрутизаторы по всей стране поняли, что этот маршрут мертв - перекидываем трафик на резервные ЦОДы и другие узлы связи 🙂

И 5 терабит трафика ломанулись по резервным каналам на другие ДЦ. Естественно, ни один резервный узел не был рассчитан на то, чтобы единомоментно сожрать нагрузку девятки. Их аплинки задохнулись, железо ушло в полку, и они начали падать один за другим от перегруза. Ну по сути, Рунет сам себя задудосил 😬

Маркетологи Ростелекома, конечно, быстро выкатили инфу, что задействованы резервные дизели, всё работает штатно. Да-да, мы видели это штатно на графике падения 😗

Как бы не был во всём виноват дежурный электрик Михалыч, который не проверил уровень соляры в генераторе.

Типичный 🥸 Сисадмин