Дата-инженерия в схемах и мемах
По всем вопросам — @mobiledeveloper_bot
Post #269
234
- 🔥 4
- 👾 1
Channel Public Channel
DA Data Engineer
@dataengineernews
- Subscribers
- 478
- Photos
- 190
- Videos
- 3
- Links
- 128
Showing posts older than #270 · Back to latest
Older Posts 20 shown
Post #268
303
Forwarded from Trino и CedrusData
Всем привет!👋
Делимся записью прошедшего Lakehouse Meetup, где эксперты из Авито и CedrusData обсудили, как Trino и Apache Iceberg масштабируются в российских компаниях.
🔹Рассказываем, как в Авито построили экосистему вокруг Trino, которая обрабатывает до 1 ПБ данных в день и обслуживает 300 пользователей.
🔹Представляем CedrusData Catalog — бесплатное решение для управления метаданными в Apache Iceberg, которое уже сейчас решает ключевые задачи и имеет грандиозные планы на развитие.
📣 Хотите поделиться своим опытом или кейсом? Расскажите о нем, заполнив форму докладчика. Давайте создавать крутые митапы вместе!
Делимся записью прошедшего Lakehouse Meetup, где эксперты из Авито и CedrusData обсудили, как Trino и Apache Iceberg масштабируются в российских компаниях.
🔹Рассказываем, как в Авито построили экосистему вокруг Trino, которая обрабатывает до 1 ПБ данных в день и обслуживает 300 пользователей.
🔹Представляем CedrusData Catalog — бесплатное решение для управления метаданными в Apache Iceberg, которое уже сейчас решает ключевые задачи и имеет грандиозные планы на развитие.
📣 Хотите поделиться своим опытом или кейсом? Расскажите о нем, заполнив форму докладчика. Давайте создавать крутые митапы вместе!
- 👍 1
Post #267
342
#пятница
Придумал тут наикрутейшее название для доклада/статьи/митапа на тему оптимизации SQL-запросов или же еще чего-то подобного.
Странно, что раньше не додумался, потому как «нисево не понимаю, я этим скриптом больше года пользуюсь, все быстро работало» - это самая популярная фраза, с которой коллеги начинают разговор, когда приходят к инженерам с просьбой починить внезапно сломавшийся скрипт.
«Ох, уж мне эти сказки! Ох, уж мне эти сказочники!» Ага…
P.S. Поскольку сам я к этой теме вряд ли вернусь в ближайшие годы, можно забирать и даже не благодарить
Придумал тут наикрутейшее название для доклада/статьи/митапа на тему оптимизации SQL-запросов или же еще чего-то подобного.
Странно, что раньше не додумался, потому как «нисево не понимаю, я этим скриптом больше года пользуюсь, все быстро работало» - это самая популярная фраза, с которой коллеги начинают разговор, когда приходят к инженерам с просьбой починить внезапно сломавшийся скрипт.
«Ох, уж мне эти сказки! Ох, уж мне эти сказочники!» Ага…
P.S. Поскольку сам я к этой теме вряд ли вернусь в ближайшие годы, можно забирать и даже не благодарить
- 👍 5
- ❤ 1
Post #266
284
#depatterns #заметкинаполях
Осилил первую главу. Мне, как человеку, обожающему аналогии и #лишьбыпожрать, весьма импонирует идея автора объяснить преимущества использования шаблонов на примере рецепта по приготовлению популярного десерта - флана («Аруба», что на Таганке, жива ли еще, интересно? Чудесные там фланы подавались…) Интригующее начало, не так ли?
Итак, кулинарный рецепт, по мнению автора, является идеальным представлением того, чем должен быть шаблон проектирования по следующим причинам:
▪️Определенность. Рецепт содержит четко определенный список ингредиентов и описание этапов имплементации, но, вместе с этим, оставляет простор для фантазии, то есть тонкой настройки под нужды конкретного случая (использование коричневого сахара вместо белого, например).
▪️Применимость в различных ситуациях. Шаблоны предназначены для решения какой-то конкретной задачи. В нашем случае рецепт позволяет поделиться с друзьями способом приготовления вкуснейшего десерта или же организовать производство для получения прибыли.
▪️Повторное использование. Вы можете приготовить сей десерт один раз или же обращаться к нему в любое время при желании. Вам не нужно каждый раз «изобретать колесо», мучительно восстанавливая в памяти список ингредиентов.
▪️Есть последствия. Нужно всегда помнить о том, что ежедневное приготовление и поедание фланов влияет на фигуру и, в перспективе, на здоровье
▪️Экономия времени. Если вы хотите побаловать себя «вкусняшкой», не нужно тратить время на «разработку и отладку», можно воспользоваться готовым решением, протестированным миллионами людей по всему миру.
продолжение следует...
Осилил первую главу. Мне, как человеку, обожающему аналогии и #лишьбыпожрать, весьма импонирует идея автора объяснить преимущества использования шаблонов на примере рецепта по приготовлению популярного десерта - флана («Аруба», что на Таганке, жива ли еще, интересно? Чудесные там фланы подавались…) Интригующее начало, не так ли?
Итак, кулинарный рецепт, по мнению автора, является идеальным представлением того, чем должен быть шаблон проектирования по следующим причинам:
▪️Определенность. Рецепт содержит четко определенный список ингредиентов и описание этапов имплементации, но, вместе с этим, оставляет простор для фантазии, то есть тонкой настройки под нужды конкретного случая (использование коричневого сахара вместо белого, например).
▪️Применимость в различных ситуациях. Шаблоны предназначены для решения какой-то конкретной задачи. В нашем случае рецепт позволяет поделиться с друзьями способом приготовления вкуснейшего десерта или же организовать производство для получения прибыли.
▪️Повторное использование. Вы можете приготовить сей десерт один раз или же обращаться к нему в любое время при желании. Вам не нужно каждый раз «изобретать колесо», мучительно восстанавливая в памяти список ингредиентов.
▪️Есть последствия. Нужно всегда помнить о том, что ежедневное приготовление и поедание фланов влияет на фигуру и, в перспективе, на здоровье
▪️Экономия времени. Если вы хотите побаловать себя «вкусняшкой», не нужно тратить время на «разработку и отладку», можно воспользоваться готовым решением, протестированным миллионами людей по всему миру.
продолжение следует...
- 👍 2
- 🔥 1
Post #265
324
#заметкинаполях #depatterns
Совсем свежак, апреля сего года выпуска. Пока только открыл и бегло пробежался по оглавлению. Выглядит как своеобразное продолжение «Fundamentals of Data Engineering», то есть для тех, кто освоился на junior-уровне и хочет перейти на middle.
«Проверим-проверим...»
Совсем свежак, апреля сего года выпуска. Пока только открыл и бегло пробежался по оглавлению. Выглядит как своеобразное продолжение «Fundamentals of Data Engineering», то есть для тех, кто освоился на junior-уровне и хочет перейти на middle.
«Проверим-проверим...»
- 🤝 6
- 🔥 2
- 👍 1
- 😁 1
Post #264
267
Настроение понедельника: "Breathe deep and easy, swallow this pride" (ВИА Rise Against)
Post #263
336
Пятничное настроение
- 😁 10
- 👍 1
- 👎 1
Post #262
336
#datadrivenorganisation #заметкинаполях
Как по мне, «Аналитическая культура» Карла Андерсона - книга весьма занятная, хоть и слегка подустаревшая, тем не менее прочтения заслуживает, поскольку является хорошим практическим руководством по внедрению управления на основе данных. Ориентирована на менеджмент, технические аспекты практически не рассматриваются.
Будет полезна тем, кто с данными ранее не сталкивался, но хочет найти ответ на сакральный вопрос имени Гарика «Бульдога» Харламова: «А нужна ли вообще аналитика?» Сюда же можно добавить джун-CDO, вроде меня, технических специалистов, желающих расширить свой кругозор или сменить профессию на управленческую.
Ну, и в финале остались самые любимые цитаты.
Как по мне, «Аналитическая культура» Карла Андерсона - книга весьма занятная, хоть и слегка подустаревшая, тем не менее прочтения заслуживает, поскольку является хорошим практическим руководством по внедрению управления на основе данных. Ориентирована на менеджмент, технические аспекты практически не рассматриваются.
Будет полезна тем, кто с данными ранее не сталкивался, но хочет найти ответ на сакральный вопрос имени Гарика «Бульдога» Харламова: «А нужна ли вообще аналитика?» Сюда же можно добавить джун-CDO, вроде меня, технических специалистов, желающих расширить свой кругозор или сменить профессию на управленческую.
Ну, и в финале остались самые любимые цитаты.
«Выбирайтесь из своих четырех стен, избавляйтесь от репутации «гиков», демонстрируйте всем свои деловые качества, показывайте, как плоды вашей работы сказываются на всей компании.»
«Многие компании ошибочно измеряют степень управления на основе данных количеством производимых ими отчетов и числом дашбордов, которыми они пользуются.»
«Необходимо отключать ежеквартально все автоматические отчеты в случайный день/неделю/месяц, чтобы оценить их использование/ценность»
- 👍 4
Post #261
239
#datadrivenorganisation #заметкинаполях
Заключительная глава посвящена конфиденциальности данных. Вот три ключевых принципа, связанных с этим аспектом:
▪️Каждый сотрудник, которому требуется доступ к данным для выполнения своих профессиональных обязанностей, имеет этот доступ.
▪️Каждый сотрудник имеет доступ только к тем данным, которые требуются ему для выполнения профессиональных обязанностей.
▪️К персональной информации, такой как данные о пользователях и рекомендации, следует относиться с повышенным вниманием: доступ к ней должен быть максимально ограничен, информация должна быть обезличена и зашифрована.
На этом все, осталось подвести итоги.
Заключительная глава посвящена конфиденциальности данных. Вот три ключевых принципа, связанных с этим аспектом:
▪️Каждый сотрудник, которому требуется доступ к данным для выполнения своих профессиональных обязанностей, имеет этот доступ.
▪️Каждый сотрудник имеет доступ только к тем данным, которые требуются ему для выполнения профессиональных обязанностей.
▪️К персональной информации, такой как данные о пользователях и рекомендации, следует относиться с повышенным вниманием: доступ к ней должен быть максимально ограничен, информация должна быть обезличена и зашифрована.
На этом все, осталось подвести итоги.
- 👍 4
Post #260
227
#заметкинаполях #datadrivenorganisation
Chief Analytics Officer сосредоточен на стратегическом использовании данных, то есть, как следует из названия этой должности, на их анализе.
Chief Digital Officer часто путают с Chief Data Officer. Основная функция заключается в стимулировании таких изменений в компании, чтобы она успешно отвечала новым требованиям современной цифровой эпохи.
Chief Analytics Officer сосредоточен на стратегическом использовании данных, то есть, как следует из названия этой должности, на их анализе.
«САО должен обладать способностью разглядеть потенциал в имеющихся данных, понять, как они соотносятся, и объединить все разрозненные источники данных из разных подразделений оптимальным образом. Кроме того, он должен контролировать
деятельность аналитической структуры компании, обеспечивать обучение и повышение квалификации и при необходимости проводить реорганизацию.»
Chief Digital Officer часто путают с Chief Data Officer. Основная функция заключается в стимулировании таких изменений в компании, чтобы она успешно отвечала новым требованиям современной цифровой эпохи.
- 👍 3
Post #259
228
#datadrivenorganisation #заметкинаполях
Вопрос из недавнего поста далеко не праздный, на самом деле, потому что в разных компания сия аббревиатура может означать разные позиции, так что все варианты верные, хотя Chief Design Officer на практике мне ни разу не встречался. Однако, в данном ТГК D значит data (тем более, что в опросе этот вариант победил).
Вопрос, конечно же, был задан неслучайно, ибо в одиннадцатой главе автор подобрался к топ-менеджменту компании с управлением на основе данных.
Chief Data Officer - это, главным образом, евангелист и агент изменений. Он отвечает как за технические, так и нетехнические аспекты, определяет вИдение, стратегию, процессы и методы, посредством которых в компании осуществляются сбор, хранение и управление данными, а также контроль их качества. Первым CDO в январе 2002 года была назначена Кэтрин Клей Досс в компании Capital One.
А вот это необходимо распечатать и в рамочку под стекло в красный угол повесить рядом с образами Дэвида Гребера и Жамак Дегани:
Первые 90 дней в жизни CDO, как первые 40 лет детства в жизни любого мужчины, - самые сложные.
Вопрос из недавнего поста далеко не праздный, на самом деле, потому что в разных компания сия аббревиатура может означать разные позиции, так что все варианты верные, хотя Chief Design Officer на практике мне ни разу не встречался. Однако, в данном ТГК D значит data (тем более, что в опросе этот вариант победил).
Вопрос, конечно же, был задан неслучайно, ибо в одиннадцатой главе автор подобрался к топ-менеджменту компании с управлением на основе данных.
«В компании должен быть топ-менеджер, отвечающий за данные».
Chief Data Officer - это, главным образом, евангелист и агент изменений. Он отвечает как за технические, так и нетехнические аспекты, определяет вИдение, стратегию, процессы и методы, посредством которых в компании осуществляются сбор, хранение и управление данными, а также контроль их качества. Первым CDO в январе 2002 года была назначена Кэтрин Клей Досс в компании Capital One.
«Вряд ли вам удастся найти двух CDO с одинаковым набором обязанностей, так как все зависит от конкретной ситуации в компании: бюджета, персонала, формы отчетности»
А вот это необходимо распечатать и в рамочку под стекло в красный угол повесить рядом с образами Дэвида Гребера и Жамак Дегани:
«Работа с данными происходит в другом ритме, нежели работа с программным оборудованием, и ее нельзя рассматривать как проект. Управление данными должно осуществляться на программном уровне. В противном случае у данных должны быть начало и конец, а с ними так не получается»
Первые 90 дней в жизни CDO, как первые 40 лет детства в жизни любого мужчины, - самые сложные.
«Первый месяц стоит потратить на то, чтобы как можно больше общаться с сотрудниками — от топ-менеджмента до стажеров.»
«В течение второго месяца определитесь со своими краткосрочными, среднесрочными и долгосрочными планами. Помимо этого, в это время вам следует сформулировать миссию и видение для компании.»
«На третий месяц, после того как ваш план готов и получил одобрение, приступайте к реальным действиям. Самое время начать добиваться пусть небольших, но положительных результатов.»
Post #258
244
Я тоже за "сиквел", а вот "скуль" прям подбешивает😂
- 😁 6
Post #257
270
Post #256
264
#заметкинаполях #datadrivenorganisation
Еще немного ингридиентов для успешного построения компании с управлением на основе данных
▪️Итерации и обучение
▪️Противостояние HiPPO
Акроним HiPPO расшифровывается как Highest Paid Person's Opinion, довольно часто такие сотрудники с данными не ладят.
▪️Руководство на основе данных
Еще немного ингридиентов для успешного построения компании с управлением на основе данных
▪️Итерации и обучение
«компания с управлением на основе данных должна извлекать максимальную пользу из любых данных, даже если это был «провал», учиться на своих ошибках и действовать дальше, продвигая бизнес»
«Управление на основе данных требует гибкости и готовности вносить изменения и на уровне компании: по мере роста и развития компании вы должны быть готовы реорганизовать свои команды специалистов по работе с данными и изменить их место в структуре организации»
▪️Противостояние HiPPO
Акроним HiPPO расшифровывается как Highest Paid Person's Opinion, довольно часто такие сотрудники с данными не ладят.
«Один из способов борьбы с этим явлением — сделать процесс принятия решений прозрачным и подотчетным. Если такие сотрудники принимают отличные решения, способствующие росту и развитию бизнеса, что ж, отлично — в конце концов, именно в этом и состоит ваша цель. Однако если качество их решений вызывает сомнения, их стоит попросить изменить подход к работе или указать на дверь.»
«Если данные противоречат управленческим решениям, но руководителя это не волнует, это создает ситуацию противостояния, которая редко заканчивается добром.»
▪️Руководство на основе данных
«В компании, где реализуются принципы управления на основе данных, должна быть сильная вертикаль власти, поддерживающая эти принципы. Руководство должно стимулировать и продвигать соответствующую корпоративную культуру и активно поддерживать все аспекты аналитической цепочки ценности — от сбора данных до принятия решения на их основе и обучения. Руководство должно продвигать методы работы на основе данных»
«Руководитель должен поддерживать специалистов аналитического отдела. Руководителю следует обеспечить им инструменты и обучение в случае необходимости. Руководитель определяет организационную структуру, меняя ее соответствующим образом по мере роста и развития компании. Кроме того, он должен показать четкую карьерную лестницу и стимулы для специалистов аналитического отдела, чтобы повысить их продуктивность и личную удовлетворенность.»
«Руководитель должен добиться, чтобы его поддерживали все остальные сотрудники… Он должен быть уверен в правильности выбранного им подхода на основе данных. Чтобы заручиться этой поддержкой, руководитель должен демонстрировать результаты, пусть сначала даже небольшие.»
«Руководителя должны поддерживать остальные топ-менеджеры компании. Они отвечают за бюджеты на развитие нужной ИТ-инфраструктуры и обучение, а также играют основную роль в стимулировании корпоративной культуры на основе данных в своих подразделениях.»
- 👍 3
Post #255
205
#заметкинаполях #datadrivenorganisation
Глава 10 погружает читателя в основы корпоративной культуры на основе данных, которая должна определять, «кто имеет доступ к данным, какие данные можно распространять, какие вложения будут сделаны в развитие сотрудников и в инструменты».
Основные ингредиенты для построения идеальной компании с управлением на основе данных:
▪️Открытость и доверие
▪️Повышение квалификации в области работы с данными
▪️Сначала цели
▪️Задавайте вопросы
продолжение следует...
Глава 10 погружает читателя в основы корпоративной культуры на основе данных, которая должна определять, «кто имеет доступ к данным, какие данные можно распространять, какие вложения будут сделаны в развитие сотрудников и в инструменты».
Основные ингредиенты для построения идеальной компании с управлением на основе данных:
▪️Открытость и доверие
«У каждого сотрудника компании должен быть доступ к такому количеству данных, которое только возможно на законных основаниях»
«Компания с управлением на основе данных обладает более значительным потенциалом делегировать принятие определенных решений на операционный уровень. Если у большего числа сотрудников есть доступ к нужным им данным, имеются необходимые навыки их анализа и интерпретации, то при достаточном уровне доверия процесс принятия решений можно существенно демократизировать.»
▪️Повышение квалификации в области работы с данными
«отличное понимание данных должно входить в навыки и характеристики всех сотрудников всех уровней»
«руководитель необязательно должен владеть механизмами сбора, очистки, обработки и агрегирования данных, но у него должно быть понимание, что такое качественный эксперимент, базовое статистическое исследование, а также чем опасно экстраполирование.»
«Главное, начать что-то делать и стимулировать сотрудников — не только из аналитического отдела — развивать навыки работы с данными и инструментами бизнес-аналитики, чтобы они чувствовали себя комфортно в этой теме.»
▪️Сначала цели
«В сфокусированной компании, независимо от того, осуществляется ли в ней управление на основе данных, есть четкое направление развития и известное всем представление, как должен расти бизнес. Задача руководителя — объединить людей вокруг этого вИдения и стимулировать их совместную работу для достижения общей цели.»
▪️Задавайте вопросы
«Нужно стимулировать конструктивные обсуждения, в ходе которых участники запрашивают дополнительную информацию, подвергают сомнениям предположения, обсуждают результаты тестирования или необходимость проведения дополнительных тестов.»
«Главное, сохранять нейтральный тон обсуждения: мы обсуждаем данные, а не людей.»
продолжение следует...
- 👍 2
Post #254
287
#заметкинаполях #datadrivenorganisation
Глава восьмая посвящена A/B тестированию. Главное, что я для себя из нее вынес, - это рекомендация четко формулировать критерии эффективности до начала теста, иначе в итоге получится подгонка задачи под ответ.
Глава девятая обучает навыку принятия решений. Специалист по лидерству и менеджменту Скотт Финкельштейн уверяет, что никакой мистики в этом нет, и научиться этому может каждый.
В отдельный блок выделены проблемы с данными, которые мешают принятию решений, такие как:
▪️ Качество данных
▪️ Объем (больше не значит лучше)
▪️Разделение сигнала и шума
Ну, и, любимое, куда ж без него.
Глава восьмая посвящена A/B тестированию. Главное, что я для себя из нее вынес, - это рекомендация четко формулировать критерии эффективности до начала теста, иначе в итоге получится подгонка задачи под ответ.
Глава девятая обучает навыку принятия решений. Специалист по лидерству и менеджменту Скотт Финкельштейн уверяет, что никакой мистики в этом нет, и научиться этому может каждый.
В отдельный блок выделены проблемы с данными, которые мешают принятию решений, такие как:
▪️ Качество данных
▪️ Объем (больше не значит лучше)
▪️Разделение сигнала и шума
Ну, и, любимое, куда ж без него.
Данные не мыслят в долгосрочной перспективе за вас. Они не принимают решения. Они лишь дают информацию — пищу для размышлений. Но если вы принимаете решения автоматически, не задумываясь о том, что означают эти данные, и не соотнося их с вашим долгосрочным видением относительно вашего продукта или пользователей, то, скорее всего, ваши решения будут ошибочными.
В компании может осуществляться качественный и своевременный сбор необходимых данных, может быть опытный специалист по работе с этими данными, который составляет полезные отчеты и модели и формулирует важные выводы и рекомендации. Но если эти отчеты пылятся на полках или руководитель принимает решения по наитию, независимо от того, что показывают данные, то это все лишено смысла.
менее 44 % сотрудников знают, где найти информацию, необходимую им в повседневной работе
Интуиция должна стать частью процесса принятия решений на основе данных. Без нее не обойтись.
- 🔥 2
Post #253
252
Forwarded from Архитектор Данных
Запись стрима "Разговоры на Архитекторском" с Вадимом Беловым, X5.
Post #252
268
Forwarded from Архитектор Данных
Инсайды из «Разговоров на архитекторском» с Вадимом Беловым, Head of DMP X5.
Про хранилища данных
1️⃣ Зрелое хранилище - это когда процессы-потребители данных ходят в ХД напрямую, минуя этап обратного ETL, загрузки данных батчами из подготовленных витрин куда-то в отдельную продовую систему.
2️⃣ Много разнородных потребителей - это реальность современного развитого ХД, с высокой ожидаемой ценностью для бизнеса. Проблема роста - в росте количества и разнообразия потребителей в большей степени, чем в объеме данных.
3️⃣ Стриминг и суб-минутные / секундные прогрузки данных: 10 лет назад мечта, сегодня - реальность и необходимость.
4️⃣ Транзакционность в аналитической системе - упрощает код, упрощает и ускоряет работу дата инженеров, понижает требуемую квалификацию дата инженера. Очень приятно работать со сложной системой так, будто это классическая СУБД с транзакциями.
Про лейкхаус
1️⃣ Ключевая технология, отличающая Lake и LakeHouse - формат данных и транзакционность.
2️⃣ Лейкхаус помогает убрать ненужные перегрузки данных из системы в систему. Причем надо понимать, что каждая продовая переливка из А в Б это а) стейджинговые и промежуточные слои, многократное дублирование данных, б) код, в) команда, которая поддерживает код и пайплайны, г) доп нагрузка на чтение в А и запись в Б. Если можно этого не делать, то получаем огромную экономию в лонг-ране.
3️⃣ «Старый» стек (Greenplum + Hadoop, + Clickhouse + …) - зоопарк. Лейкхаус - тоже зоопарк. Нельзя уйти от зоопарка технологий, но можно выбрать зоопарк себе по вкусу, в котором приятнее жить.
4️⃣ Развитие технологий спиральное. Сейчас виток разделения вычислений и хранения, рано или поздно сольемся обратно. Но текущий тренд - разделение.
5️⃣ Точно будем пилить свой мета-каталог. Опен-сорсные не устраивают по своей зрелости.
6️⃣ Тренд - умные метакаталоги. Нужен развитый RBAC на уровне каталога. Нужны умные метаданные, развитые кеши данных и мета-данных. Нужны элементы дата-гавернанс на уровне мета-каталога. Дата контракты на уровне метастора - в Gravitino уже есть.
Про экономику данных и миграцию
💯 Первые 100 ТБ мигрировали с Data Vault в Greenplum на Data Vault в Lakehouse за 1-2 месяца.
2️⃣ Лейкхаус дает больший оверхед на старте по железу, большие требования к сети. Но это окупается за счет того что одна команда работает со всеми юз-кейсами данных. Выгоднее купить больше железа, но обойтись одной командой разработки, одним релизным процессом, одной проверкой качества и т.д.
3️⃣ Также получаем более дешевое и быстрое развитие по росту объема и сложности данных. И технологическую модульность.
4️⃣ Эффективен путь RnD и пилотов. Пробуйте в облаках, где много готовых сервисов от многих вендоров. Пробуйте у себя на железе - для грамотного ДевОпса развернуть лейкхаус из доступных компонентов - тривиальная задача
5️⃣ Тестируйтесь на своих данных и своих задачах перед внедрением. Любые попугаи публичных тестов нерелевантны.
Про хранилища данных
1️⃣ Зрелое хранилище - это когда процессы-потребители данных ходят в ХД напрямую, минуя этап обратного ETL, загрузки данных батчами из подготовленных витрин куда-то в отдельную продовую систему.
2️⃣ Много разнородных потребителей - это реальность современного развитого ХД, с высокой ожидаемой ценностью для бизнеса. Проблема роста - в росте количества и разнообразия потребителей в большей степени, чем в объеме данных.
3️⃣ Стриминг и суб-минутные / секундные прогрузки данных: 10 лет назад мечта, сегодня - реальность и необходимость.
4️⃣ Транзакционность в аналитической системе - упрощает код, упрощает и ускоряет работу дата инженеров, понижает требуемую квалификацию дата инженера. Очень приятно работать со сложной системой так, будто это классическая СУБД с транзакциями.
Про лейкхаус
1️⃣ Ключевая технология, отличающая Lake и LakeHouse - формат данных и транзакционность.
2️⃣ Лейкхаус помогает убрать ненужные перегрузки данных из системы в систему. Причем надо понимать, что каждая продовая переливка из А в Б это а) стейджинговые и промежуточные слои, многократное дублирование данных, б) код, в) команда, которая поддерживает код и пайплайны, г) доп нагрузка на чтение в А и запись в Б. Если можно этого не делать, то получаем огромную экономию в лонг-ране.
3️⃣ «Старый» стек (Greenplum + Hadoop, + Clickhouse + …) - зоопарк. Лейкхаус - тоже зоопарк. Нельзя уйти от зоопарка технологий, но можно выбрать зоопарк себе по вкусу, в котором приятнее жить.
4️⃣ Развитие технологий спиральное. Сейчас виток разделения вычислений и хранения, рано или поздно сольемся обратно. Но текущий тренд - разделение.
5️⃣ Точно будем пилить свой мета-каталог. Опен-сорсные не устраивают по своей зрелости.
6️⃣ Тренд - умные метакаталоги. Нужен развитый RBAC на уровне каталога. Нужны умные метаданные, развитые кеши данных и мета-данных. Нужны элементы дата-гавернанс на уровне мета-каталога. Дата контракты на уровне метастора - в Gravitino уже есть.
Про экономику данных и миграцию
💯 Первые 100 ТБ мигрировали с Data Vault в Greenplum на Data Vault в Lakehouse за 1-2 месяца.
2️⃣ Лейкхаус дает больший оверхед на старте по железу, большие требования к сети. Но это окупается за счет того что одна команда работает со всеми юз-кейсами данных. Выгоднее купить больше железа, но обойтись одной командой разработки, одним релизным процессом, одной проверкой качества и т.д.
3️⃣ Также получаем более дешевое и быстрое развитие по росту объема и сложности данных. И технологическую модульность.
4️⃣ Эффективен путь RnD и пилотов. Пробуйте в облаках, где много готовых сервисов от многих вендоров. Пробуйте у себя на железе - для грамотного ДевОпса развернуть лейкхаус из доступных компонентов - тривиальная задача
5️⃣ Тестируйтесь на своих данных и своих задачах перед внедрением. Любые попугаи публичных тестов нерелевантны.
- ❤ 1
Post #251
294
Купил оффлайн билет на SmartData-2025, чисто гештальт закрыть, хотя, если бы заранее знал про Data Internals, предпочел бы ее.
- 👍 4
Post #250
296
#заметкинаполях #datadrivenorganisation
Минувшая неделя сильно поколебала мою уверенность в Astronomer. Как можно вообще доверять компании, гендир которой ходит на концерты Coldplay? Настоящий Мартин только один, пусть ему «исполнилось уже 70 лет» и, вообще, он «livinig la vida loca». В Airflow и Cosmos верить не перестану.
Но, не о том речь.
Седьмая глава посвящена сторителлингу, или по-русски «травле баек», то есть тому, «как «упаковывать» сделанные выводы и рекомендации и презентовать их руководству и другим заинтересованным лицам, чтобы это способствовало повышению качества дискуссии и процесса принятия решений на всех уровнях» .
Прежде чем размышлять над тем, как лучше всего представить данные, информацию, результаты анализа, следует ответить на три вопроса:
▪️ Чего вы хотите добиться?
▪️Кто ваша аудитория?
▪️ Каким средством вы воспользуетесь?
Помните: «если вы провели блестящее исследование и сделали потрясающие выводы, но ничего не изменилось, результативность вашей работы равна нулю.»
А посему, «исследуйте «дизайнерское пространство» в поисках средств, которые помогут лучше всего рассказать вашу историю, но при этом не лишат ее достоверности и объективности».
Минувшая неделя сильно поколебала мою уверенность в Astronomer. Как можно вообще доверять компании, гендир которой ходит на концерты Coldplay? Настоящий Мартин только один, пусть ему «исполнилось уже 70 лет» и, вообще, он «livinig la vida loca». В Airflow и Cosmos верить не перестану.
Но, не о том речь.
Седьмая глава посвящена сторителлингу, или по-русски «травле баек», то есть тому, «как «упаковывать» сделанные выводы и рекомендации и презентовать их руководству и другим заинтересованным лицам, чтобы это способствовало повышению качества дискуссии и процесса принятия решений на всех уровнях» .
Прежде чем размышлять над тем, как лучше всего представить данные, информацию, результаты анализа, следует ответить на три вопроса:
▪️ Чего вы хотите добиться?
▪️Кто ваша аудитория?
▪️ Каким средством вы воспользуетесь?
Помните: «если вы провели блестящее исследование и сделали потрясающие выводы, но ничего не изменилось, результативность вашей работы равна нулю.»
А посему, «исследуйте «дизайнерское пространство» в поисках средств, которые помогут лучше всего рассказать вашу историю, но при этом не лишат ее достоверности и объективности».
- 👍 2