Быстрее откатывать или деградировать — вот в чем вопрос

На днях прочел пост Димы Александрова (руководителя подразделения разработки Яндекс Лавки) и вспомнил, как стрессово может быть, когда в продакшене что-то ломается. Эмоции и спешка часто мешают принять правильное решение, но на первом месте всегда должна быть стабильность сервиса. Если релиз «ушёл в минус» — откатываемся без раздумий.

Однако, не всегда откат решает проблему целиком. Бывает, что откат — это не отмена последствий, а только начало. Ресурсы после сбоя могут восстанавливаться долго, сервисы стартуют медленно, кеши и базы данных «запутались».

В этот момент нам на руку режим деградации — когда выключаешь часть функций, упрощаешь логику, чтобы сервис продолжал работать хоть в каком-то ограниченном режиме.

Это есть и готовые фолбеки, и отдельные фичи, которые выключаются «на худой конец».

Поэтому:
– Автоматизируем процессы (автооткаты, автоскейл)
– Разрабатываем чёткие инструкции и чек-листы — это уменьшает паническую реакцию
– Проводим учения и симуляции инцидентов — это помогает команде сохранить хладнокровие и привыкнуть к действиям

Помните: чем больше процесс доведен до автоматизма, тем меньше шансов ошибиться под давлением.

⚡️ @becaps