Полуночный Трёп №12: Data Mesh - почему, что и как.

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50

Тайминги

- 0:00:00-0:01:35 Intro. Почему именно эта тема
- 0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️. Data Lake. Data Hoarding (дата скопидомство)
- 0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
- 0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
- 0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
- 0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
- 1:00:01 -  1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
- 1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
- 1:13:26 - 1:32:50  Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
- 1:32:50 - 1:33:55 Outro

Ссылки

Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8

Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2

Инструменты, которые мы упоминали, если не уловили на слух:

- Streaming: Kafka, Flink, Spark Streaming, Spark
- Querying: Athena, Trino (ex PrestoSQL), SparkSQL
- Storage: Redshift, RDS, S3, Parquet, hdfs
- Data Quality: redata, montecarlodata, anomalo
- Data Platform~ish: databricks, fivetran, Airbyte (singer), airflow k8s spark, aws glue, google cloud dataflow, IBM/the-mesh-for-data

Инструменты, которые мы упоминали, а потом вырезали: dbt, ray, dask

Музыка подкаста: Harris Heller - StreamBeats

🎧 Эпизод на anchor.fm