Cloudflare ускорила security-сканы с 10 до 120+ в секунду без новых партиций

Security Insights сканировала аккаунты раз в 1–2 недели, а бесплатные часто не попадали в очередь. Цель — ~10→100 сканов/с, но консьюмеры лагали, API таймаутился и процессы падали.

В разборе инженеры пишут, что распараллелили обработку сообщений внутри партиции, разделили «медленные» и «быстрые» потоки и убрали блокировку головы очереди. Вставки в Postgres по одной строке заменили на гибридный bulk-insert, API перевели в active-passive у основной БД.

Шедулер — под adaptive rate limiter: зоны считают отдельно, стартовые временные метки размазали, лимит пересчитывается каждые полчаса. Итог: производительность выросла >10× и достигла 120+ сканов/с.

Прежде чем добавлять партиции или железо, смотрите метрики, SQL, логи и код.