Если в первой части Максим Шуматбаев, инженер технической поддержки Arenadata, проследил путь сообщения от отправки до записи в лог, то теперь он разбирает работу потребителя: как тот читает данные, взаимодействует с другими участниками группы и фиксирует прогресс обработки.
💡 Из статьи вы узнаете:
🔹как работают
Fetch, poll() и long polling и какие параметры влияют на эффективность чтения;🔹почему растёт
consumer lag и как отличить нормальное отставание от проблемы;🔹как устроены consumer group, heartbeat и ребаланс, в том числе в Kafka 4.0;
🔹как квоты и throttling влияют на производительность и почему запросы могут замедляться без ошибок.
☑️Кому будет полезно?
Разработчикам и архитекторам распределённых систем, data/platform engineers, администраторам Kafka и специалистам сопровождения — всем, кто работает с Kafka в production.
Читайте и комментируйте на Хабре >>
#Kafka #Habr