Ликвидировали аварию все. Наш СТО написал пост в Slack и все пришли на следующий день — 22 апреля работа началась в 8:30 утра. Все всё понимали: что нужно поддержать, помочь, руками, головой, в тестировании, оптимизации запросов, инфраструктуре. Кое-кто даже приехал со всей семьей. Нам помогали соседние команды, не связанные с IT: приезжали в офис с едой, а колл-центр вывел дополнительные силы на всякий случай. Все команды объединились одной целью – подняться! За воскресенье мы оживили систему, а исправление проблемы заняло ещё три недели.
После падения мы начали внедрять LeSS, внедрили проектные команды, изменили продуктовую структуру, внедрили performance-тесты, и многое другое. А ещё мы начали проводить субботники, на которых работаем над повышением стабильности и отказоустойчивости системы.
Подробные материалы о том, что случилось.
— «История о птице Додо из рода Фениксов. Великое падение Dodo IS»
— «День, когда Dodo IS остановилась. Синхронный сценарий»
— «Асинхронный»
— А вот короткое «ретро» из первых уст: эмоции и ощущения
Post #480
1.01K