Что происходит после пятничного инцидента?
Даже в текущих условиях, когда многие ребята уехали, мы продолжаем работать и продолжаем разбираться с пятничным инцидентом.

Рассказываю что у нас происходит, как мы строим работу после инцидента.

Если кратко объяснить процесс, то все управление Dodo IS сейчас проходит через CTO, Пашу Притчина. Когда мы бежим быстро, когда нам нужен темп и развитие, хорошо работает децентрализация и 100% свобода в принятии решений. Когда тебе надо притормозить, важен консерватизм и снизить вероятность ошибок, работает обратный режим централизации, когда все изменения проходят ревью через одну небольшую команду, дающую возможность релизить.

Фактически мы разделились на 3 группы
• Первое направление – пост-мортем. Над ним сейчас работает небольшая команда. Пост-мортем это не только сам анализ причин, но и ретроспектива на наши действия, восстановление полной картины событий, какие симптомы когда срабатывали, как мы на них реагировали, кого подключали и т.д. Эдакий полный лог произошедшего с выводами и изменениями в процессах.
• Второе направление – исследование конкретных гипотез. Здесь работают команды нагрузки, SRE и разработчики, чтобы проверять конкретные варианты причин. Да, мы пока на 100% не можем однозначно утверждать что стало причиной инцидента (часто триггер инцидента не совпадает с истинной причиной). Среди гипотез в том числе, например, попадание на плохую стойку в датацентре во время скейла. Года 2 назад такое было (подтверждено от MS, ну вот, даже такое бывает).
• Третье и самое большое направление – это фиксы. Здесь работают несколько команд и даже при том что корневая причина конкретного инцидента еще не установлена, у нас гарантированно есть места в системе, которые мы знаем, которые требуют улучшения и влияют на стабильность. Часть симптомов мы уже понимаем и так же снимаем нагрузку. Пример – перевод всех консьюмеров на новый сервис меню, что снизит нагрузку на самый больной компонент системы. Таких задач много, тут работает сразу несколько команд, координация оч простая через техлида.

Ежедневно есть синки общие и синки по конкретным направлениям.

Продуктовые команды сменили фокус и работают над повышением Service Level (SL). Продуктовые релизы мы делаем, но очень ограниченно, с нагрузкой и обязательными дополнительными ревью. К примеру, у нас есть комитмент рекламный, который мы не можем перенести и под него готовим изменения. Все гибко, обсуждаемо и всегда действуем по ситуации.

Когда будут следующие детали, напишем.