Привет! На связи Валерия Елпатьевская, ментор курса «Инженер данных» 👋🏻
Если вы только начинаете разбираться с Kafka, одна из самых важных вещей — понять, что именно делает консьюмер (consumer) и зачем нужны консьюмер-группы (consumer groups).
Консьюмер читает сообщения из партиций. В Kafka сообщения хранятся в топике (topic), а сам топик разбит на партиции. Консьюмер не читает топик целиком. Он читает конкретные партиции и запоминает, на каком сообщении остановился.
Например, есть топик с партициями:
orders
├── partition 0
├── partition 1
└── partition 2
Консьюмер может читать одну, две или все три партиции (смотря как настроим). Важно: внутри одной консьюмер-группы одна партиция в конкретный момент времени читается только одним консьюмером.
Зачем нужна консьюмер-группа?
Консьюмер-группа объединяет несколько консьюмеров, которые вместе читают один и тот же топик. Например, всё тот же топик 'orders' из примера выше имеет три партиции. Тогда мы можем создать консьюмер-группу из трёх консьюмеров, каждый из которых будет читать свою партицию:
Consumer Group A:
├── Consumer 1 → partition 0
├── Consumer 2 → partition 1
└── Consumer 3 → partition 2
Так можно распределить обработку сообщений между несколькими экземплярами приложения.
Важно учитывать, что разные консьюмер-группы читают сообщения независимо друг от друга. На практике это означает, что каждая группа имеет свои офсеты (offsets). Поэтому одно и то же сообщение может быть обработано консьюмерами, принадлежащими группам A, B и C. То есть если у вас есть три независимых сервиса и каждый должен получить все сообщения из топика, то каждому сервису нужна своя консьюмер-группа.
Один консьюмер может обрабатывать сразу несколько партиций, но если консьюмеров в группе больше, чем партиций в топике, то часть из них будут простаивать, поэтому количество консьюмеров в группе, как правило, меньше или равно количеству партиций.
Теперь самое интересное — ребалансировка
Kafka должна поддерживать актуальное распределение партиций между консьюмерами внутри одной группы.
Допустим, было:
Consumer 1 → partition 0
Consumer 2 → partition 1
Consumer 3 → partition 2
Консьюмер 2 упал. Kafka обнаруживает, что он больше не является участником группы, и запускает ребалансировку.
После неё распределение может стать таким:
Consumer 1 → partition 0, partition 1
Consumer 3 → partition 2
То есть Kafka перераспределяет партиции между оставшимися консьюмерами, чтобы обеспечить чтение всех данных потока. Ребалансировка происходит не только при падении консьюмера, но также если мы добавили новый консьюмер или увеличили количество партиций.
Важно помнить, что во время ребалансировки обработка сообщений временно приостанавливается.
Ставьте реакции и сохраняйте, чтобы не потерять!
📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS