TGViewer
Записки системного архитектора Записки системного архитектора @sysarchthoughts · 269 subscribers
Post #44 210
Как раскладывать события сервиса по топикам в кафке?

Может быть лучше делать гранулярные топики, и публиковать каждый тип в одном топике? Тогда у подписчиков полная свобода, они смогут гранулярно выбирать, на какие события подписываться. Но, правда, если консьюмер обрабатывает несколько типов событий и читает их из разных топиков, то гарантия порядка обработки событий теряется. Можно, конечно, сначала подчитывать события из разных топиков, сортировать их по метке времени, а потом уже обрабатывать... но и тут неприятный побочный эффект: пока мы собираем и сортируем события - увеличивается задержка.

Тогда может быть лучше складывать события в один топик? Так мы сможем гарантировать порядок событий, но, с другой стороны, если консьюмеру нужен только один тип событий, то он все равно вынужден просматривать все и выбирать нужные (вспоминается анекдот про сортировщика апельсинов).

К чему я все это. Выглядит так, что невозможно рационально принять решение о том, как стоит раскладывать события по топикам, находясь мыслями внутри продукта/сервиса. "Правильная" раскладка зависит от того, какие есть требования к пропускной способности, производительности, требованиям к КТС и т.п. системы в целом, от того, как система разбита на сервисы, сколько потребителей/консьюмеров событий и какие именно события они потребляют.

Т.е. структура топиков в микросервисной системе - это вопрос архитектуры не отдельных микросервисов, а системы, как целого.
  • 👍 2
More from @sysarchthoughts
  1. Aug 4, 2026Мне жена как-то сказала, что только в зрелом возрасте осознала трагедию сказки о рыбаке и…
  2. Jul 2, 2026Я не давлю. Я пытаюсь опереться.
  3. Apr 2, 2026Пригласили меня тут в жюри школьного проектного конкурса, и вот что хочу сказать: мало кто…
  4. Mar 22, 2026Как технические границы делают все бизнес-критичным? Ключевой вопрос, которому посвящена э…
  5. Mar 22, 2026Неуловимо напоминает "основной закон органической химии". Если смешать бочку мёда и бочку…
  6. Mar 10, 2026(продолжение рассуждений про больницу) Что мне тут понравилось, что беру на заметку. 1. Че…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →