Итоги стрима

Очереди не завезли, топики-партиции остаются все теми же.

Теперь для чтения топика можно создать не только обычную Consumer Group, но и Shared Group, в чем отличия:

• распределением партиций между консьюмерами занимается сама кафка

• одной партиции могут назначить сразу несколько консьюмеров, ради равномерности потребления

• пока реализован только один алгоритм балансировки, который этой равномерности не дает, но можно пилить свои

• важно: эта механика не обеспечивает порядок чтения сообщений даже в рамках одной партиции

Главная мотивация — обеспечить большую скорость обработки потока, за счет более эффективного распределения консьюмеров по партициям в случаях, когда не важен порядок сообщений. Но пока под это реализован только протокол, а не сама логика.

Лично у меня сложилось впечатление, что это штука больше для аналитики и логов, но будем посмотреть.

Ссылки и видосы будут в @nextway_news

А тут Андрей пишет про кафку, брокеры и всякие стриминги: @data_rivers

#брокеры