25 июня 2025 с 15:30 до 16:45 мск из-за массового запуска сборок в кластере с фронтенд-приложениями переполнился диск. Это вызвало приостановку работы эпсов.
⏳ Хронология
15:30 - зафиксировали рост нагрузки и заполнение диска в кластере
15:40 - нагрузка кратно выросла из-за десятков процессов
npm build / start, появившихся после запуска сервисных компонентов 15:45 - 15:55 - вручную завершили лишние процессы, нагрузка начала снижаться
16:00 - фронтенд-приложения начали восстанавливаться
16:45 - запустили сервисные компоненты в штатном режиме, стабилизировали работу кластера
🛠️ Принятые меры
Чтобы избежать повторения подобных ситуаций и повысить устойчивость систем, мы:
1. Увеличим емкость кластера.
2. Пересмотрим механизм обработки очередей в сервисном агенте.
3. Ограничим число одновременных процессов для сервисных служб.