Kafka может перераспределять партиции без остановки всей группы 😙

1 октября AWS подтвердила поддержку протокола KIP-848 во всех версиях Kafka 4.x на Amazon MSK. При подключении или отключении потребителя старый протокол мог приостановить всю группу. Теперь координатор на брокере перемещает только затронутые разделы, а остальные потребители продолжают обработку и фиксацию смещений.

Для инженеров это означает меньше всплесков задержки при автоскейлинге, перезапуске контейнеров и обновлении приложений. В больших группах перераспределение больше не зависит от глобального барьера синхронизации.

Новый режим не включается автоматически: нужны Kafka 4.0+, совместимый клиент и параметр group.protocol=consumer. Корректное завершение процесса всё ещё важно — без consumer.close() координатор может ждать истечения 45-секундного тайм-аута.

Пруфы:
⏩AWS — 1 октября 2026 года
⏩Apache Kafka KIP-848

#apachekafka #amazonmsk #streamprocessing #kubernetes #scalability #dataengineering

@data_engi