Завтра в 15:10 наш СТО Павел Притчин выступит с докладом зале «Пуффендуй» на HighLoad++

Коротко о докладе:
— Как в Dodo пробовали SRE-практики из книги Google. Как мы поняли эти практики и что в итоге получилось. В чём мы отошли от книжки и что пробовали сделать точь-в-точь по написанному.

Кому будет полезно послушать:
— Всем, у кого есть нагруженный и при этом активно разрабатываемый сервис.


Кейс, который не попал в доклад:
— У нас есть мониторинг, который генерирует и присылает алерты на количество ошибок или процент плохих запросов. Мы решили, что для них можно просто установить тресхолд в 5% за 5 минут. Алерты срабатывали круглосуточно, мы реагировали и исправляли, что нужно.
В какой-то момент поняли, что ночью бывает много алертов, которые тревожат дежурного, но мы на них не реагируем, потому что они не критичны. А кому понравится, когда тебя ночью будят напрасно?
Систему оставлять без присмотра нельзя, но ночью явно должны быть другие значения времени. Например, 50% за 15 минут.
В итоге мы разделили мониторинг на дневной и ночной и снизили количество ложных ночных алертов. Теперь дежурные просыпаются, только если действительно всё плохо.

О чём ещё можно спросить:
— зашёл ли в Dodo SLO, как работает. Как мы измеряем тойл и как с ним боремся.
Как устроены дежурства, их плюсы и минусы. Откуда родом наши SRЕ, из админов или разработчиков. Как мы оцениваем импакт от постмортемов.