Выкладываем 3 выпуск по статье “The Dataflow Model”, и постам серии Streaming 101 — часть 1, часть 2, на которые ссылается официальная документация Flink. В нём мы углубились в устройство временных меток и логическую модель работы с окнами.
В рамках выпуска:
🔶 Выяснили, почему авторы предпочитают использовать термин “unbounded data processing” вместо streaming
🔶 Последовательно прошли по всем компонентам модели Dataflow — transformations, windowing, watermarks, triggers и accumulation
🔶 Посмотрели на то, что из себя представляет watermark и поделили события на early, on-time и late
🔶 Разобрали 3 вида окон — fixed, sliding и session; в чём они похожи, а в чём отличаются в модели Dataflow
🔶 Поговорили, в чём особенности деления окон по processing и event time, на примерах увидели, как обеспечивать баланс между latency и correctness
Ставьте 🔥, если понравился выпуск, и ждите анонсов на следующей неделе!
#in_the_flow #flink #streaming