У ГИБДД затопило серверное помещение. По всей России сбой работы сервисов.

Если в серверной есть труба с водой, то правильный вопрос звучит не "Если она прорвёт?", а "Когда она прорвёт?".

https://www.cnews.ru/news/top/2021-12-20_v_gibdd_masshtabnyj_kibersboj
Работа Инспекции оказалась парализована коммунальной аварии в серверных помещениях. Другими словами, в одном из таких помещений, расположенных в Москве, прорвало трубу, в результате чего оборудование оказалось подтопленным.

«Установлено, что причиной сбоя стала коммунальная авария в серверных помещениях. В результате серверы, на которых хранятся информационные массивы по линии работы Госавтоинспекции, оказались залиты водой», – говорится в официальном заявлении, опубликованном на сайте российского МВД.

Посочувствую коллегам, которым героически пришлось поднимать информационные системы. Ведь помимо восстановления систем надо было полностью заменить затопленное оборудование каким-то аналогом. Хотя в Москве место для маневра чуть больше. В регионах просто не найдёшь оперативно железо.

Какие выводы здесь стоит сделать:

1. В серверном помещении не должно быть НИКАКИХ коммуникаций водяного отопления и водоснабжения. Ни транзитных, ни стояков. Также и в помещении над серверной.
Это постоянно приходится объяснять заказчикам, убеждать, настаивать. Да - надо переносить, да - затратно, нет - нельзя гипсокартоном закрыть.

В моей практике был случай, когда оборудование базировалось в подвальном помещении, в которое заходил только уголок трубы отопления, поворачивал и уходил в соседнее. Через какое-то время 4мя этажами выше проводились строительно-ремонтные работы, уронили что-то сильно тяжелое на стояк отопления, он сместился вниз и разрыв произошёл как раз в подвальном помещении.
В итоге полностью затопленное помещение и неработоспособное оборудование на несколько миллионов рублей.

2. Самая важная характеристика работы ИТ-службы - доступность информационных систем. Любая непредвиденная мелочь может сделать ваши сервисы недоступными, если вы к ней не готовы.
ПОЭТОМУ важно придерживаться стандартов построения СКС, ЦОДов, архитектур сетей, систем виртуализации и информационных систем.

Серверный кластер, системы хранения данных, резервирование сетевых устройств и каналов связи, резервная площадка - это не роскошь. Это ваши ИНСТРУМЕНТЫ защиты своих сервисов, которые надо планомерно и неотступно внедрять.
Оставлять ключевую систему на одном сервере 8-летней давности с рейдом на дисках... - лучше в облако тогда переехать.

3. Необходимо иметь отлаженное резервное копирование. Банально, но как никогда актуально в наше время.
И да, действительно работающие системы резервного копирования, которые будут доступны в случае ЧП и способны быстро восстановиться, крайне редко можно увидеть у заказчиков.
- "А у нас бэкапы лежали на том же сервере...",
- "А там место закончилось и бэкапы уже месяц не делались",
- "А этот сервер вообще никто не бэкапил, а он тоже нужен был?"

В общем - сухой вам серверной и рабочих бэкапов. ✌️

P.S. Ребят, какие ещё у кого были случаи на практике? Опыт то у всех богатый - делитесь 😉