Мастерство

Я вроде бы только вчера пережил принятие падения второго датацентра. Причем мы с командой реально думали, что ну вот минус два датацентра - это реально уже край, чтобы удержаться. А сегодня с утра уже третий дата-центр Яндекса! Представьте, какая это значительная часть вычислительных мощностей. При этом вы можете заметить, что МНОГИЕ сервисы продолжают работать (НЕ ВСЕ, НО МНОГИЕ).

До четверга я бы и в жизни не представил, что такой объем работы можно сделать сразу за несколько дней. Когда все упало, все лежит, горит, не работает, переезжаешь в срочном порядке на новые серваки, а они снова падают. И представьте какая это бесконечная борьба и как она выматывает.

И это переживает огромное количество Яндексоидов и не сдается только для того, чтобы все работало в должном порядке и могло обеспечить всех! Бессонные ночи, дни, снова ночи.

Ты вроде бы уже можешь оценить, когда случится конец этой задачи, и тут снова БАБАХ

Решенная проблема уже снова нерешенная. А тут уже новая следующая, мощности ограничены еще больше и возможно из самих будет еще меньше, а любое действие приходится продумывать на несколько шагов. И еще попробуйте при этом поспать!

Миллионы пользователей и их запросы никуда не делись. Нужно выдержать нагрузку! Нужно восстановить влияющие друг на друга сервисы! И все на живом трафике!

В истории есть кейс, когда сгорел один из четырех ДЦ одной французской компании. А сейчас мы все наблюдаем такое, что одновременно повреждены несколько крупных ЦОДов! При том, что мы (точнее, наши коллеги) проводили регулярные учения с отключением дата-центров и отрабатывали разные кейсы, мне кажется никто и НИКОГДА бы не представил сценарий, что одновременно будет минус целый ДЦ.

А тем более и не представишь, когда уже не стало 3-ех датацентров!

Вы думаете у каждого из ребят есть скилл управления взаимозависимой системой в условиях дефицита мощностей? Когда при этом еще и обсервабилити считай отсутствует. Или тупо данных не хватает, часть привычных инструментов недоступна. Решение нужно принимать сейчас, необходимо очень хорошо понимать, что ты делаешь. Даже с нейронкой с нуля наработать это понимание за короткий срок просто нереально! Где искать причину сбоя, чему можно доверять, как проверять свои гипотезы. И тем более заранее придумать, что может пойти не так, закладывать резервы и продумывать восстановление.

Про шахматистов часто говорят, что их средний рейтинг - это то ниже какого уровня он не будет играть в любой ситуации: в стрессовой, в экстренной, в условиях сильного психологического давления

То же самое и про нас: в таких ситуациях мы опускаемся до уровня своей подготовки - тех самых долгих лет инженерной рутинной работы. Можно ли вообще как-то оцифровать этот масштаб инженерной подготовки, который позволил нам устоять и сохранить всё даже при потере большей части ДЦ?

Я понимаю, что дальше может быть ещё тяжелее. Поэтому прошу вас отнестись с пониманием и осознать, что значит одновременная масштабная атака на все крупные дата-центры. С таким не сталкивалась ни одна IT-компания!

Поэтому давайте просто поддержим всех коллег и ребят, которые сейчас восстанавливают сервисы вне Яндекса. Ставьте реакции, присылайте стикеры в комментариях и просто давайте понимать, какой это колоссальный труд!