Работа LeadConverter восстановлена

Приносим извинения за длительную недоступность платформы. Мы понимаем, что сбой нарушил ваши планы, остановил рассылки и работу с клиентами. Рассказываем, что произошло и что нужно знать перед продолжением работы.

❔Почему платформа была недоступна?

Наши основные серверы находились в дата-центре Яндекса в Сасове, в зоне доступности ru-central1-b. По официальному сообщению Yandex Cloud, в результате атаки БПЛА произошёл пожар, работа дата-центра была остановлена. (Сообщение Yandex Cloud)

❔Почему восстановление заняло так много времени?

После инцидента создание новых ресурсов в других зонах Yandex Cloud оказалось ограничено. Быстро запустить замену недоступным серверам не получилось.

Мы параллельно готовили резервную инфраструктуру у другого провайдера и восстанавливали платформу в доступной зоне Яндекса (когда ситуация немного улучшилась, появились квоты на необходимый минимум ресурсов). Подготовка серверов, перенос большого объёма данных и проверка базы требуют значительного времени.

❔База восстановлена из копии от 7 октября. Что это значит и почему?

Полная резервная копия базы, которая хранится в других дата-центрах, создаётся раз в сутки. Более частые инкрементальные копии сохраняют изменения между такими резервными копиями, но находятся в том же дата-центре, что и основная база. Сейчас они, как и исходная база, недоступны.

Поэтому для восстановления мы использовали последнюю доступную копию от 7 октября, примерно на 06:00 по московскому времени.

Это означает, что платформа восстановлена в состоянии на тот момент. Более поздние изменения - новые подписчики, сообщения, рассылки, настройки ботов и другие данные - в восстановленную версию не вошли.

Мы понимаем, насколько эти изменения важны для вашей работы. Такая схема резервирования позволила восстановить платформу, но оказалась недостаточной для сохранения последних данных при недоступности целого дата-центра.

❔Запланированные на 7 и 8 октября рассылки отправятся сейчас?

Рассылки за эти даты, которые в восстановленной копии оставались запланированными, были переведены в статус «Отменена».

Это сделано, чтобы уже отправленные сообщения не ушли повторно, а несколько писем из последовательной цепочки не отправились одновременно после восстановления.

Если отменённую рассылку всё ещё нужно отправить, проверьте её актуальность и продолжите отправку. При необходимости обратитесь в поддержку.

Рассылки, созданные после точки резервного копирования, могут отсутствовать. Их потребуется создать заново.

❔У меня был оплачен тариф на период 7–8 октября. Что делать?

Обратитесь в поддержку и укажите название вашей кампании. Если заметили повторное списание, также сообщите об этом - проверим его и оформим возврат при необходимости.

❔Какие выводы мы сделали?

Как показала практика, текущая геополитическая ситуация требует учитывать риски, которые раньше казались исключительными: физическое повреждение дата-центра и его длительную недоступность. Этот инцидент показал, что нам нужна дополнительная защита за пределами одного облачного провайдера.

Мы запланировали создание реплики базы у другого провайдера на географически удалённой площадке и проверку процедуры переключения на неё. Это должно значительно сократить время восстановления и объём данных, которые могут быть потеряны в случае, если новый дата-центр столкнётся с такой же ситуацией.

Благодарим за поддержку 🙏

Спасибо пользователям за терпение и сообщения, которые помогают находить оставшиеся проблемы.

Выражаем благодарность и поддержку команде Yandex Cloud. Сейчас специалисты работают в тяжелейших условиях, устраняя последствия инцидента и помогая клиентам восстанавливать сервисы. Спасибо за вашу выдержку, профессионализм и огромную работу. Желаем вам сил, скорейшей стабилизации инфраструктуры и возвращения к спокойной работе.

👇Если вам нужна помощь, напишите нам любым удобным способом:

Поддержка в Telegram
Поддержка во ВКонтакте
Другой канал связи с поддержкой

Укажите название вашей кампании и кратко опишите проблему. Это поможет нам быстрее разобраться.