Немного расскажу о том, что происходит с сервисами после того, как выходит из строя дата-центр

Обычно все сервисы держатся на нескольких ногах. Например, обычно у любой базы данных есть три ноги в трех дата-центрах. На одном дц живет мастер, на двух других - реплики, иногда они меняются. В высоконагруженных сервисах вся запись идет на мастер, а чтение обычно идет с реплик. И да, есть небольшой лаг отставания (около секунды)

Как только дата-центр уходит в даунтайм, мастер очень быстро перепрыгивает на один из оставшихся дата-центров и сервис снова живет, обычно это занимает пару десятков секунд. Все данные снова реплицируются на оставшиеся два дата-центра и как только поднимется третий, все данные также перельются на него - все происходит автоматически. Поэтому если данные даже были физически уничтожены в первом дата-центре, они не теряются

В ситуации, когда вышибают две ноги, мастер переезжает на оставшийся дата-центр, и реплик больше нет. Это самая опасная фаза и последний дц терять никак нельзя, потому что после этого данные сервиса становятся недоступны

В Яндексе мы годами проводили учения по отказу дата-центров, например когда я работал в Маркете, такие учения были перед каждым сезоном и проходили по несколько месяцев. Во всех больших сервисах типа Такси, Поиска, Еды, Лавки, все команды постоянно проходят их проходят

И, естественно, эти учения не всегда проходят гладко - то тут, то там команды находят мелкие недоработки, и ученьки как раз позволяют нам делать работу над ошибками и в след раз проходить их более успешно

Но сейчас уровень этого экзамена резко поднялся до 15 из 10, из-за атак отключились два больших ДЦ, и сейчас вся огромная мощь сервисов пытается устоять на оставшихся ресурсах

У сервисов отрезают часть функциональности, чтобы работала только самая важная часть, а какие-то и вовсе выключают. Люди экстренно переливают ядра, меняют конфиги таймаутов, рейт-лимиттеров, включают сценарии деградации, которые у нас были, чтобы остатки сервисов не погибли под нагрузкой.

Из-за ускоренного переезда дополнительно отваливаются всякие мелкие сервисы, по которым не было больших учений, и люди уже много часов находятся в режиме постоянного дебага. Ты смотришь, где льются ошибки, смотришь, что не так, смотришь где подложить соломку и стабилизируешь сервис

Большинство наших сервисов снова работают благодаря титаническим усилиям ребят, которые не спят уже пару дней - Такси, Маркет, Еда, Доставка, Алиса по большей части доступны, очень-очень ждем полного возвращения Пей

К чему я это все пишу... Други, те, кто негодует и переживает - просто дайте нам еще время, чтобы все починить. Подобного сценария по сложности мы еще не проходили в масштабах всей компании и сейчас нам правда нужна ваша доверие и поддержка

Спасибо! ❤️❤️