👀 Storm применил TCP-логику к пакетам событий

В Apache Storm 3.0 размер пакетов между производителями и очередями может меняться по алгоритму AIMD — тому же принципу, который используется для управления перегрузкой в TCP.

При свободной очереди пакет постепенно растёт, повышая пропускную способность. При обратном давлении размер резко уменьшается, чтобы не усугублять перегрузку. Это снижает потребность вручную подбирать фиксированный размер пакета под каждый поток.

Функция включается параметром topology.producer.batch.dynamic. Для перехода на Storm 3.0 потребуется Java 25; ветка 2.x больше поддерживаться не будет.

#apachestorm #streamprocessing #backpressure #dataengineering #distributedcomputing #realtime

@data_engi