💻 Как прошел мой первый OnCall 🤳 в Uber?

Привет, друзья! 👋

Сегодня хочу поделиться своим опытом первого OnCall в Uber. 💻 Спойлер: это было стрессово, но очень поучительно.

Когда ты впервые сталкиваешься с недельным 24/7 дежурством, это кажется настоящим испытанием. Особенно когда в 3 часа ночи тебя будит телефон, потому что один из сервисов решил «сбежать в отпуск» без предупреждения. 😅

Что такое OnCall?
OnCall - это ротация в команде, где один инженер (Primary) отвечает за стабильность сервисов в течение недели. Есть еще Secondary - резервный инженер, который подключается, если Primary недоступен.

Как это работает?
Система мониторинга отправляет алерты, если фиксирует проблемы:

1. High-urgency alerts - те самые, которые могут выдернуть тебя из сладких снов. 🌙
2. Low-urgency alerts - приходят только в рабочие часы.

Кроме алертов, Primary следит за каналом поддержки, где коллеги из других команд задают вопросы о твоем сервисе.

Как это было?
Представь: ночь, метрики зашкаливают, запросы валятся.

В такой ситуации нужно быстро:
1. Понять, что произошло.
2. Решить проблему на своей стороне, если она есть.
3. Связаться с OnCall-инженером другой команды, если проблема на их стороне, и попросить вмешаться.
4. Сделать rollback (откатить изменения до стабильной версии) и стабилизировать систему (так сказать, потушить пожар 👨‍🚒).

Но на этом дело не заканчивается: если ситуация серьезная, заводится "инцидент", который в дальнейшем разбирается всей командой (или командами), чтобы понять, как этого избежать в будущем.

Какие выводы?
OnCall - это отличный тренажер стрессоустойчивости и навыков принятия решений. Но, честно говоря, вставать ночью — сомнительное удовольствие. Если такие проблемы случаются часто, это может привести к выгоранию. Посмотрим, как оно будет!

А как у вас проходит OnCall? Есть ли он вообще?