یه مفهومی هست به اسم Alert Fatigue هست که واقعا یادم نیست توی کتاب The Site Reliability Workbook یا توی یه کتاب دیگه خوندم اما یه بحث جالبی داره،
وقتی برای هر چیزی Alert می ‌ذاریم کم ‌کم تعداد هشدارها اونقدر زیاد می‌شه که ذهن بهشون عادت می‌کنه. فرقی هم نمی‌کنه چقدر مسئولیت ‌پذیر باشی. بعد از مدتی ناخود آگاه یاد می‌گیری که خیلی از این Alertها قرار نیست اتفاق مهمی پشتشون باشه.

مشکل اینجاست که یه روز یه Incident واقعا بحرانی هم وسط همون حجم از هشدارها ظاهر می‌شه و ذهن با اون هم مثل بقیه برخورد می‌کنه.
برای همین به نظرم این جمله خیلی مهمه:

اگر یک Alert نیاز به اقدام فوری انسانی ندارد، احتمالاً Alert نیست فقط یک Metric یا Event است.

هر بار که چیزی رو بی ‌دلیل تبدیل به Alert می‌کنیم، داریم از ارزش Alert های واقعی کم می ‌کنیم.

توی اون کتاب Google SRE هم یه چیزی توی این مایه ها میگه

همه Alert ها باید Actionable باشند و نسبت سیگنال به نویز بالا باشد. در غیر این صورت خطر Alert Fatigue برای افراد On-Call افزایش پیدا می ‌کند.

سیگنال: چیزی که واقعا مهمه و باید بهش واکنش نشون بدیم
نویز: ایشالا بعدا :)

نکته دیگر مسئله سنترالایز بودن این آلرت ها هست که خستگی اینسیدنت از تنم در نرفته، بعدا ایشالا در موردش می نویسم.