Вышла книга Джея Бортена «Data integration. Объединение данных для улучшения процесса принятия решений». Это практическое руководство по интеграции данных без лишней теории.
CSV-файлы, базы данных, данные с датчиков — все это функционирует по своим правилам: форматы не совпадают, системы не всегда «понимают» друг друга, а бессвязная информация мешает увидеть картину целиком. Поэтому ключевая задача дата-инженера — превратить весь этот хаос в единую работающую систему.
Я предпочитаю разделять управление жизненным циклом данных на три части: интеграцию данных, аналитику данных и управление данными. Каждое из этих направлений имеет собственные цели и состоит из процессов более низкого уровня, которые, объединяясь, формируют конвейеры данных. Процессы более низкого уровня могут относиться сразу к нескольким компонентам.
Автор подробно объясняет, как консолидировать все данные, разобраться с исходной информацией, выбрать подходящие методы интеграции, построить пайплайн и с помощью AWS, Qlik, Databricks и Confluent довести его до рабочего состояния.
Книга будет полезна и интересна дата-инженерам, архитекторам и другим техническим специалистам.
📚 Сайт
Не забудьте применить промокод на скидку
Dintegration25 😉🛍 Озон
🛍 Яндекс Маркет