Yaqinda internal servicelar haqida bir dunyo metrics qaytaradigan REST servisimiz turgan podlardan OOM alert kelishni boshladi. Avval 1 marta, 1 haftadan keyin yana 1 marta, 3-4 kundan keyin yana... . Memory usage pattern oldingi haftaga nisbatan biroz oshgan, lekin e'tiborni tortadigan hech narsa yo'q. Anomal usage patternlarni topadigan detectorlar ham hech narsani ko'rmagan. Xullas, bittada ko'zga ko'rinadigan hech narsa yo'q.

Salkam 1 kun vaqt sarflab va nihoyat topdim bugni. Xullas, 2 oycha oldin bu endpointlarni ishlatadigan consumer (boshqa team tomonidan ishlab chiqilgan automation tool) talabi bilan bir endpointdagi query parameter default qiymati truedan falsega o'zgartirilgan. Lekin bu o'zgarish to'liq dokumentatsiya qilinmagan va natijada boshqa consumerlar bundan xabarsiz qolgan. Bu long running requestlarga, bunaqa load uchun mo'ljallanmagan workerlar esa memory leakka sabab bo'lgan. Boshida kichkinagina memory leak sekin-sekin kattalashib, endi OOMga sabab bo'layapti ekan.

Xulosa: 1 qator kod yozsangiz ham to'liq document qiling.

P.S. Oy tugasinchi ko'ramiz bu servis oldingi oylarga nisbatan qancha ko'p harajat qilibdi ))