Что в итоге мы изменили у себя в процессах
1. Ввели архитектурный надзор в каждом производственном направлении. Проводим ревью разрабатываемой архитектуры на контрольных точках проекта, которые определяют PM.
2. При тестировании используем только релевантные данные и строго это контролируем. Это помогает увидеть реальную картину и проработать корректные требования для продукта.
3. Проводим минимальное нагрузочное тестирование продукта, даже если клиент считает, что оно не нужно. И анализируем необходимость полноценных нагрузочных тестирований на каждом проекте, чтобы понять, сколько пользователей выдержит инфраструктура продукта и какие «узкие» места в ней есть.
4. Не делаем релизов в предвыходные и предпраздничные дни :)

P.S. Когда я села писать историю об этом кейсе, у меня даже мысль возникла: «А как мы это упустили? У нас же есть контроль на уровне архитектуры и сбора требований». А потом поняла: да это же как раз после этого инцидента ввели :)))
Разработка без ошибок – это в идеальном мире. Самое главное – делать выводы, учиться на ошибках и непрерывно улучшать процессы создания программных продуктов.