TGViewer
Data Engineer Data Engineer @dataengineernews · 478 subscribers
Post #278 235
#заметкинаполях #depatterns

Заключительный шаблон из главы про поглощение данных заслуживает отдельного упоминания, ибо разговоров о нем в настоящее время примерно столько же, сколько на небесах о море.

Думаю, вы догадались, кем вас окрестят за незнание там наверху…

Итак, только в идеальном мире сферические лошади побеждают согласно расписанию. В менее идеальных мирах, к коим относится мир данных, порой бывает сложно предугадать момент для начала процесса поглощения. Предыдущий шаблон, казалось бы задачу решает, но в этом случае потребитель самолично ответственен за проверку наличия новых данных (Pull Semantics).

А что, если взять и «изменить мышление всей компании, распределив ответственность» и
обязав источник данных оповещать потребителей, перейдя тем самым от пассивного поглощения к событийно-ориентированному (Push Semantics)?

Звучит как план…

Шаблон «Внешний импульс» (External trigger) состоит из трех основных частей:

▪️Первый шаг соединяет ваши конвейеры с внешним миром путем подписки на канал с уведомлениями. Теперь вы ничего не пропустите.

▪️Шаг второй заключается в реакции на сообщения из внешнего мира (нужно принять решение, запускать ли конвейеры, а, если запускать, то какие?)

▪️Шаг третий - это, собственно, запуск нужных конвейеров.

Засим (кажется, тайное общество «симитов» затянуло и меня) с этой главой все.

Продолжение следует…
  • 👍 4
More from @dataengineernews
  1. Sep 27, 20262️⃣3️⃣✖️0️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест · 22–23 сентября 2026 🍄 CLICKHOUSE • На этой нед…
  2. Sep 23, 2026Кабанчик приехал
  3. Sep 12, 2026LLMSQLQueryOperator В Airflow появился новый декоратор task.llm_sql, который генерирует SQ…
  4. Sep 2, 2026Кабанчик уже не тот https://t.me/alexgladkovblog/7608
  5. Aug 25, 2026Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support В Airflow 3.3 появился AIP…
  6. Aug 25, 2026Продолжая закрывать свой букдолг, дошел до книги Питхейна Стренгхольта «Архитектура медаль…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →