🤔 Неделя, как сгорел дата-центр, было время на анализ ситуации
В ночь на 8 октября после атаки беспилотников загорелся дата-центр Яндекс. Работу площадки полностью остановили. Вместе с ней легла заметная часть рунета - банки, маркетплейсы, СМИ. И наша платформа тоже.

Что мы делали
1️⃣ В первые часы менеджеры написали всем клиентам. Без канцелярита, как есть - приложение не работает, причина на стороне облака, будем держать в курсе.
2️⃣ Запустили план реагирования на инцидент. Параллельно вели диалог с провайдером и готовили восстановление из резервных копий на резервную инфраструктуру.
3️⃣ Команда разработки работала все выходные. 9 октября поднялась часть приложений, 10 октября - сервер для остальных, пока на сниженных мощностях.
4️⃣ Регулярно обновляли статус для клиентов, подготовили сообщения для пользователей, перевели поддержку в усиленный режим.
5️⃣ Отправили всем клиентам официальное уведомление по ЭДО и почте.

Как сейчас
Приложения работают на резервных мощностях. Часть данных об активности пользователей за 6-8 октября потеряна - восстанавливали из бэкапа. Это самое неприятное во всей истории, и мы продолжаем вытаскивать всё, что можно.

Мой вывод, что должно быть в договоре SaaS-платформы
Пока команда поднимала сервера, я перечитал наш договор с клиентами и оферту провайдера. Вот что есть у нас и должно быть обязательно.
🔹 Сбои у хостинг-провайдеров и внешних сервисов прямо не считаются нарушением договора
🔹 Аварии провайдеров исключены из расчёта доступности в SLA
🔹 Широкий перечень форс-мажора. Не только пожар и наводнение, но и атаки на инфраструктуру, кибератаки, решения госорганов
🔹 Разумный срок уведомления о форс-мажоре и без обязательной справки от компетентного органа - быстро её не получить
🔹 Лимит ответственности и исключение упущенной выгоды и потери данных
🔹 Понятная компенсация за простой, например продление лицензии на дни недоступности. Тогда у клиента есть ясный механизм, а не повод требовать деньги назад
🔹 Оговорка, что ответственность за подрядчиков не распространяется на хостинг-провайдера

Что сделать прямо сейчас, если вас тоже задело
1️⃣ Письменно уведомить клиентов, лучше по ЭДО с электронной подписью. Сообщение в чате - это проявление заботы, но не юридическое уведомление.
2️⃣ Сохранить хронологию - скриншоты, время реакции, что и когда делали.
3️⃣ Поднять договоры, подписанные не на вашей форме. Именно там обычно штрафы за SLA и нет лимитов ответственности.
4️⃣ Перечитать оферту облака. Ответственность провайдера, как правило, ограничена месячным платежом, а резервное копирование - полностью ваша зона.
5️⃣ Не пропустить срок возражений по акту провайдера за октябрь.
6️⃣ Проверить, в скольких зонах доступности живёт ваша инфраструктура и где физически лежат бэкапы.

👏🏻 Спасибо команде Кросслайф - разработке, которая все выходные поднимала сервера, и менеджерам, которые были на связи с каждым клиентом и пользователями. ❤️ И огромное спасибо клиентам за терпение и понимание.