Основной поток Kafka:

1. Продюсер отправляет сообщение

⏩Приложение (продюсер) создаёт сообщение с данными.
⏩Продюсер подключается к брокеру Kafka и выбирает тему.
⏩Kafka определяет, в какой раздел темы отправить сообщение, распределяя нагрузку.
⏩Сообщение записывается в лидирующую реплику раздела.

2. Хранение и репликация

⏩Лидер добавляет сообщение в лог и присваивает ему уникальный офсет.
⏩Сообщение копируется на резервные реплики для отказоустойчивости.

3. Консьюмер получает сообщения

⏩Приложение (консьюмер) подключается к группе потребителей.
⏩Консьюмеры координируют обработку, считывая сообщения из своих разделов.
⏩Они получают сообщения партиями, начиная с последнего зафиксированного офсета.

4. Подтверждение обработки

⏩После обработки консьюмер фиксирует новый офсет.
⏩Kafka отслеживает, какие сообщения успешно потреблены.

5. Цикл продолжается

⏩Продюсеры продолжают отправлять, консьюмеры — читать и обрабатывать.
⏩Kafka обеспечивает надёжную и упорядоченную доставку даже при сбоях.

⚠️ Помните:

Поток сообщений в Kafka асинхронный. Продюсеры не ждут, пока консьюмеры обработают сообщения.

Консьюмеры могут отставать от продюсеров, если обработка идёт медленно.

Kafka предлагает механизмы для обработки сбоев и обеспечения семантики доставки at-least-once или exactly-once.

Topics => Partitions => Log Segments
(Данные фактически хранятся в лог-сегментах).

👉 Java Portal