Отличный data engineering кейс: команда Skillbox переехала с Greenplum на Lakehouse (Trino-Iceberg-S3).

Для Devhands кейс примечателен тем, что автор предварительно прослушал курс Леши Белозерского по Lakehouse, а потом рассказал о переезде на нашем стриме.

Внутри:
• Для CTO и CDO: реальная экономика нового КХД в сравнении с Greenplum
• Как организовать сырой слой данных так, чтобы не бояться миграций и не бояться выключать старое КХД, когда миграция подходит к концу
• Как быстро подцеплять новые данные в паркетах под формат Iceberg с использование нескольких разных мета-каталогов
• Какие операторы для Airflow написать для облегчения процесса работы с Lakehouse
• и многое другое

Смотреть:

ВК - https://vkvideo.ru/video-228742675_456239043
YouTube - https://www.youtube.com/watch?v=ROuJc3PTH6Y

🔥 ну, за Lakehouse
👍 12й Постгрес жив!

Канал Алексея: @analyticsfromzero