23 сентября 2022 года мы рухнули на 4 часа. Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день.

Обещали рассказать публично о причинах такого жесткого падения. Написание полноценной статьи по пост-мортему задачка несколько более сложная, чем просто разобрать причины и пофиксить. Пост-мортем у нас появился сильно раньше, но именно публичная статья вышла вот только сейчас.

Что в статье?
• Вся хронология событий.
• 4 гипотезы о возможных причинах и как мы пытались понять какие из реальны.
• Чего нам не хватило, что пошло не так во время самого инцидента.
• Какие наши действия помогли решить инцидент.
• Описание детальных причин, до которых мы в итоге докопались и что с ними делали.

Работаем дальше! 🙂