Две из трёх атак на дата-центры Яндекса положили TextBack. Заметки по горячим следам.

Не хочется писать банальности о героическом восстановлении, «мы стали сильнее» и «у нас невероятная команда».

Команда правда невероятная: ребята – красавчики! Все выходные готовились к новой аварии, к сожалению, до второй атаки переехать полностью не успели, поэтому и все воскресенье, и ночью сегодня поднимались. Уже 4+ дня работают с утра до ночи и не ноют. Очень горжусь с такими ребятами работать💪

Но я не об этом.

Хочу поделиться мыслями, как вести себя руководителю при форс-мажорах. Не такая тривиальная задача, тк ты сам руками тут помочь не можешь, а отвечать за результат тебе.

1. Форс-мажор соблазнительная штука.
Тебе постоянно хочется сказать: «Ну ситуация такая, форс-мажор». Легко оправдать себя и переложить ответственность на «ситуацию». Взять ответственность сложно.

Но первым делом ее надо принять. Ведь вообще-то отказоустойчивость — наша работа. И нам за неё платят. Клиент не должен об этом думать, а мы должны. И пока не прилетит про это забываешь.

2. Самое долгое – нифига не техническая часть.
80% времени потратили на внешние блокеры. Поднять сервер быстро. Получить доступ к бэкапам, выделить ресурсы, увеличить квоты, дождаться дисков – тут застревали.

Твоя задача – устранять внешние блокеры и решать задачи, где можно без разработчика.

Пример: нашёл руководителя нужного направления в Selectel, познакомились, создали прямой чат с командой. Ребята на выходных сопровождали нас при переезде. Без этого могли потерять ещё много часов. Спасибо им тоже.

3. Принимать решения быстро. Даже когда ничего непонятно.
При первой атаке ещё было непонятно, насколько всё серьёзно. Но ждать, пока ситуация прояснится, уже было опасно. Вспомнили принцип «планируй худшее, надейся на лучшее» и начали планировать сценарий «завтра прилетает по нашей зоне в Яндексе». К сожалению, так и случилось.

Тут главный задача менеджера – команда благодаря тебе должна быстрее или спокойнее (!) принимать решения. Кто-то должен этот сгружать на себя. Это – и есть бремя "начальника".

4. Брать на себя риски
В кризис решений надо принимать дофига. У каждого куча рисков и последствий. Приходится выбирать между скоростью, деньгами, безопасностью и штрафами. Без руководителя тут свихнешься.

Твоя задача – увидеть наименьшее зло, чем можно пренебречь, ради главной цели. Снять неопределённость. Не перекладывать эти решения на разработчиков.

5. Развеивать туман.
Когда начинает вскипать голова, задачи путаются, что-то забывается — твоя задача помочь распутаться, ничего не забыть важного. Если непонятна вся задача, побить на маленькие шаги.

6. Не орать, не мешать.
Быть на связи. Поддерживать. Благодарить. Задача – не превратиться в ещё один блокер.
В идеале, если есть культура, где человек может сказать начальнику, что тот мешает, и не быть уволенным.

7. Кризисы надо капитализировать
Кризисы должны нас чему-то учить. Если после аварии инфраструктура осталась уязвимой, а зависимость от персоналий не уменьшилась – не научились. А если вы можете прогнать в бою тренировочное восстановление после аварии, без участия CTO или Тех лида, потому что до них "не дозвониться". Вот это капитал.

—

Из неочевидных плюсов: кризисы отлично прокачивают мышцу «оказывается, можно и так». Что на прошлой неделе казалось сложной задачей на пару недель – сделали за выходные.

Цена у таких форс-мажоров высокая, но уж какая есть.