Дежурства на длинных новогодних праздниках.

Мы делаем SaaS, он должен работать 24/7. 31 декабря наши пиццерии закрываются в 18:00 по местному времени и уже 1 января в 12 открываются снова. Учитывая большую распределенность по всем часовым поясам получается работа практически без остановок даже в новогоднюю ночь. Dodo IS должна работать в любое время.

Сегодня кратко расскажу о том, как устроена наша подготовка в НГ и как устроены дежурства в длинные каникулы.

Подготовка
Уже в ноябре мы готовимся к повышенной нагрузке. Профиль заказов на новые год сильно отличается от других праздничных дней, больше отложенных заказов, больше заказов с огромным составом (20-30-50 пицц на один заказ).

У нас есть понятие сервисов критического пути. Это те части Dodo IS, которые отвечают за прием заказа, его приготовление и выдачу/доставку.

Сервисы критического пути проверяются на нагрузке x3 относительно обычных выходных, с учетом особого профиля. Все проблемы, найденные на нагрузке, идут с первым приоритетом в разные команды, в зависимости от того, где нашли проблемы.

Релиз фриз
С 28 декабря релиз фриз по всей Dodo IS.

Для сервисов критического пути действует код фриз. Для сервисов, не относящихся к критическому пути код фриза нет, но релизить изменения будем все равно в январе.

Дежурства
Делим их по уровням.

1. Первая линия поддержки, команда Tech Support. Ребята начинают работать с открытием пиццерий 1 января.
2. Команда SRE, которая знает большую часть системы и может многое решить самостоятельно, дежурит 24/7. Впрочем, она делает это всегда, на любые праздники. У них свое расписание, подключенный PagerDuty для уведомлений, случись чего – они первые на инциденте. Вне зависимости от того, сколько времени на часах.
3. Продуктовые команды. Делаем общий график, в котором ребята из каждого продукта внутри Dodo IS отмечают, кто доступен, кто ограниченно доступен, а кто нет. График этот сводится таким образом чтобы в каждой критичной точке системы каждый день был хотя бы 1 разработчик, кто будет доступен на случай инцидента, помимо SRE команды. Продакты так же участвуют.

Такая система работает уже несколько лет и сделана специально под длинные праздники. На майские все то же самое.

А вот дежурства в регулярные рабочие дни у нас устроены немного иначе, они сильно эволюционировали за 2021й год и в 2022м продолжат развиваться, о чем расскажем позже.