Разговоры на Архитекторском - Выпуск 5 с Алмазом Хайфуллиным

Тема: опыт переезда КХД с Greenplum на Data Lakehouse

В августе мы с Алмазом записали отличный стрим про опыт переезда команды Скилбокс на Lakehouse (Trino-Iceberg-S3). Наконец, выкладываю запись.

Во время стрима у нас случилась накладка, и облачная запись Zoom приказала долго жить. Поэтому первая треть записи теперь в формате листинга слайдов. Оставим этот момент как эксклюзив для тех, кто был на стриме воочию - чем-то же надо их наградить!

Как мне кажется, полезной информации в видео очень много. Не буду совсем уж спойлерить, но вот некоторые темы

1️⃣ Как организовать сырой слой данных так, чтобы не бояться миграций. И не бояться выключать старое КХД, когда миграция подходит к концу.

2️⃣ Как быстро подцеплять новые данных в паркетах под формат Iceberg с использование нескольких разных мета-каталогов

3️⃣ Какие операторы для Airflow написать для облегчения процесса работы с Lakehouse.

Ни и вишенка на торте - реальная экономика нового КХД в сравнении с Greenplum!

Как уже начать смотреть на разных платформах

Ссылки:

ВК Видео - https://vkvideo.ru/video-228742675_456239043

ЮТ - https://www.youtube.com/watch?v=ROuJc3PTH6Y

Также рекомендую посмотреть другие видео плейлиста "Разговоры на архитекторском". Мы с гостями старались!
https://vkvideo.ru/playlist/-228742675_6


Подпишитесь на все каналы (если еще нет)

📱 Телеграм

📱 ВК Видео

📱 Youtube