Позволю себе репостнуть самому себе свой же ответ. Лень перепечатать, да хотя бы пусть даже и без мата.
Ну уж простите, такой я импульсивный человек, мат у меня не табуирован в момент эмоций.
Сегодня с утра сделал тесты после той простыни - всё подтвердилось.
TLDR:
- дело было не в CNI/cluster autoscaler/OOM, да в общем-то и не напрямую в кубернетес
- дело было в кретинизме лайвнес пробы, которая смотрела на базу подключаясь, забивая коннекты при большой нагрузке(количестве подов) и левых ограничениях на базе в 1400 лимит коннешнов.
4000 лимит пока решил проблему, но теперь есть и алёрт и пояснение за всё это, в будущем 100% не повторится.
Очередной раз убеждаюсь в том, что иногда, при подходе в траблшутинге, полезно абстрагироваться от старых данных и начинать с нуля, не взяв предыдущие расчёты в новую гипотезу. Вот и тут, копал пару дней не туда, а оказалось совсем в другом дело.
Проблема повторена трижды, исправлена и закрыта.
* На картинке это я со своими первыми гипотезами и странными мыслями
Post #8
285

- 😁 2