Гладко было на бумаге, но забыли про овраги...

Про то, что резервные копии нужно не только делать, но и регулярно проверять, вроде бы знают все.

Но одной лишь проверки архивов абсолютно недостаточно для нормального восстановления в аварийной ситуации. Чтобы оценить реальные возможности инфраструктуры и людей, рекомендуется проводить учения — стресс-тесты по подъему сервисов, максимально приближенные к реальности.

Некоторое время назад одни мои коллеги такие учения провели. И с треском их провалили. Причины оказались поучительными и весьма далекими от высоких технологий.

По сценарию учения стартовали во второй половине дня субботы, когда на предприятии остался только линейный персонал. Руководство отсутствует, начальник IT-отдела «в отпуске» (доступен только по телефону).

Оборудование подготовили заранее: сымитировали отказ дискового массива с частичным повреждением данных. Дежурные сотрудники про учения знали, но без деталей — им предстояло самостоятельно диагностировать сбой и поднять тестовую копию сервиса.

И тут начался реальный мир:

1️⃣ Физический доступ в серверную. Ключ от серверной оказался заперт в кабинете начальника охраны, а сам кабинет — опечатан. Начальник службы безопасности к этому моменту уже благополучно добрался до дачи и успел принять рюмочку.

Узнав, что тревога учебная, срываться обратно в город он наотрез отказался. В итоге начальник IT был вынужден лично приехать в офис и вместе с присутствующими менеджерами составлять комиссионный акт, вскрывать опечатанную дверь и добывать ключ.

2️⃣ ЗИП под замком. Когда в серверную наконец прорвались, выяснилось: резервные диски и комплектующие лежат на складе. Склад на выходных закрыт, а материально ответственные лица отдыхают. Вскрывать склад даже коллективно под акт желающих не нашлось: дураков нет.

3️⃣ План «Б» и высота. Родилась идея: в цеху висит ненагруженный сервисный NAS, с которого можно безболезненно сдернуть рабочий донорский диск. Побежали в цех. Но телекоммуникационный шкаф смонтирован под самым потолком — снизу руками не дотянуться, нужна стремянка. А где заперта стремянка? Правильно, на том же самом складе…

На этом этапе учения признали официально проваленными. После чего техническое руководство и топ-менеджмент дружно сели думать над жизнью.

Понятно, что при реальной катастрофе и склад бы разнесли, и замок с печатью срезали. Но аварийный регламент не должен держаться на выбивании дверей фомкой.

Доступ к первичным точкам отказа, аварийный ЗИП «первой линии» и банальный инструмент обязаны быть доступны дежурной смене круглосуточно — без звонков на дачи нетрезвым начальникам охраны.