​​Рассказываю занимательную историю, которая произошла вчера и заняла весь мой день. Пришлось понервничать, но не очень сильно. Сажусь утром за компьютер, проверяю почту и вижу от мониторинга сообщение о недоступности пачки виртуальных машин и самого гипервизора на одном из арендуемых дедиков. Сразу заподозрил неладное, так как обычно такие сообщения сулят проблемы.

Иду в панель управления хостера и вижу, что сервера там просто нет 😱. Смотрю тикеты, а там последние 2 тикета с интервалом в неделю о том, что надо продлить сервер, иначе мы его удалим. С ним была особая история месяц назад. Из-за майских праздников не успел дойти очередной платеж и на продление этого сервера денег не хватило. Через тех. поддержку его вручную активировали, потом пришли деньги на счет и на этом все закончилось.

А оказалось, что не закончилось. Надо было после поступления денег зайти в настройки этого сервера и жмакнуть там кнопку оплаты. Без этого оплата автоматически не прошла, а ТП сама не могла это сделать. Вообще, странная история, так как раньше такие ситуации уже были и всё как-то обходилось без ручных действий с моей стороны.

Оповещения по тикетам приходят на почту заказчика, он их то ли проигнорировал, то ли не заметил. Не суть, я не стал разбираться. Написал сразу в тех поддержку о возникшем недоразумении. Там мне почти сразу радостно сообщили, что сервер только сегодня ночью выключили и еще не обнулили. Сейчас мы его вам вернем. Я обрадовался, даже бэкапы не стал проверять.

Сижу жду час, другой, третий. Заподозрил неладное 🙄 Пошел, проверил бэкапы. Все на месте, но пока не развернешь, наверняка не узнаешь, что с ними 100% все в порядке. Начал переживать. Пишу хостеру, спрашиваю, когда сервер будет готов. Я его уже вижу у себя в панели, но не могу включить.

И тут как гром среди ясного неба. Мне сообщают, что ошиблись. На самом деле сервер уже обнулен, с дисков все удалено ☠️. Извините, но ничего сделать не можем. Пиздец, короче. Тут я уже запереживал немного, но сразу был готов отсечь все претензии, так как моей вины в этой ситуации нет вообще. Бухгалтерия задержала платеж, заказчик не обратил внимание на тикеты. Я в панель управления каждый день не лазию их проверять.

В общем, пошел смотреть бэкапы, искать, где всё разворачивать. С этим больше всего проблем, так как сервак был с 6 Тб данных на борту в рейде 10. Все это рассовать не так просто. Они даже обнуленный сервер не смогли мне запустить, ждал весь день, но так и не дождался. Аналогичного сервера не было доступно.

Проблема еще в том, что бэкапы были сырых данных, а не вируталок, так как бэкапить такие виртуалки целиком и инкрементно не было возможности. В итоге всё основное восстановил вручную, вроде работает. Хостера не буду называть и винить, так как по сути он особо ни в чем не виноват. Сами накосячили. Ему можно вменить только то, что он зачем-то сразу обнуляет сервак после отключения. Можно же хоть сутки подождать. По сути меня, как клиента, потерял, так как если я не получу этот же сервер, больше арендовать у них его не буду. А могли бы просто включить обратно и я бы спокойно остался дальше.

Предвещая комментарии о том, что надо было делать кластер, репликацию, HA и т.д. Этот сервер был в аренде около 5-ти лет. Если бы его дублировали, то потратили бы тонну денег. Простой в течении дня допустим, так что я спокойно восстановил бэкапы предыдущего дня.

Такая вот поучительная история. Со мной случается не первый раз. Я уже терял безвозвратно полностью сервера, поэтому бэкаплю не только данные, но и всё, что сопровождает сервер. Скрипты и конфиги храню в git. Рисую схемы, пишу описания хотя бы для себя, чтобы в тот момент, когда ничего не будет, хоть немного вспомнить, что там вообще было настроено и как. В идеале, конечно, бэкапить виртуалки целиком, но часто это невозможно. Про само наличие бэкапов ничего говорить не буду, и так все знаете - делаем, мониторим, проверяем.

Если дочитал до конца, ты молодец. У тебя наверняка все в порядке с бэкапами.

#история #цод