На фоне последних событий решил изучить литературу по антикризисам и хаос инженерингу в IT и другим подходам к отказоустойчивости.
Теория дает хорошую базу, но насколько она помогает в условиях реального кризиса? Даже подготовленные компании могут столкнуться с ситуациями, выходящими далеко за пределы отработанных сценариев.
Текущая ситуация с инфраструктурой Яндекса хорошо это демонстрирует.
— Масштаб беспрецедентный: одновременно повреждены несколько крупных ЦОДов. Яндекс проводил учения с отключением дата-центров, но реальная ситуация оказалась сложнее отработанных сценариев.
— Восстановление требует времени: сервисы связаны между собой и обслуживают миллионы людей и компании.
— Результаты уже есть: Такси, Еда, Поиск, Алиса и другие сервисы возвращаются в строй. Работы ещё много, но восстановление идёт — это даёт основания для спокойствия.
— За всем этим — тысячи инженеров. Устойчивость систем проявляется и в способности восстанавливаться. Сейчас это работа людей, чьи усилия важно замечать и поддерживать.
Подобные кризисы показывают, что даже лучшие инженерные практики не могут предусмотреть абсолютно все.
Последние дни вся наша команда 24 часа онлайн и делают много героической работы. Можно ли выполнить такой подвиг почитав книги или пройдя курсы? Никогда.
У Андрея есть крутой пост про это подробнее
https://t.me/akuleshov7_live/659
Post #4599
964