Kafka позаимствовала cordon у Kubernetes

В Apache Kafka 4.3 появилась возможность запретить размещение новых партиций на выбранном диске или брокере, не отключая его.

Для этого добавили настройку cordoned.log.dirs. Если указать конкретный каталог, Kafka перестанет класть туда новые реплики. Если поставить *, весь брокер исключается из новых назначений, продолжая обслуживать существующие данные.

Это упрощает замену дисков и вывод брокеров из кластера: больше не нужно переносить партиции, пока Kafka параллельно создаёт там новые.

Apache Kafka 4.3

#apachekafka #dataengineering #streaming #distributedSystems #infrastructure #kubernetes