Опівночні Балачки №22: Delta Lake – чесний опенсорс чи датабріксовий вендор лок

В гостях – Олександр з Zalando
🍎 Apple Podcasts 👉тут👈 (і спотік-молодець)
🎧 Інші платформи тицяй
👁 Youtube дзеркало 🔗 тут

- 00:00-00:30 Дисклеймер
- 00:30-01:50 Інтро і 🇩🇪Data See
- 01:51-02:31 Озвучуємо тему: Delta Lake представлений на Data & AI Summit, і супутній Open Source delta.io
- 02:31-04:00 Звідки назва? Дельта формат і дата лейк
- 04:00-08:25 А що таке дельта формат? Як це виглядає на файловій системі
- 08:25-10:06 Чи хтось перевинайшов Redshift Spectrum?
- 10:06-13:40 Історія і мотивація переходу до дата лейків в роботі Олександра. А потім і до дельта лейків
- 13:40-14:46 Неструктуровані дані і дельта лейк
- 14:46-15:52 Співіснування дата і дельта лейку, їх подальше використання
- 15:52-18:30 Чому люди всередині компанії хочуть мігрувати на дельта лейк
- 18:30-19:28 Стрімінг в дельті - це і в опенсорсі є чи щось пропрієтарне
- 19:28-22:15 Як дельта лейк працює на запис
- 22:15-34:00 І знову, що в опенсорсі, що пропрієтарне. OPTIMIZE & VACUUM команди. Адаптери для читання і як читати дельту руками. Unity Catalog. Delta Live Tables. Delta Sharing.
- 34:00-35:59 Неймдропаємо і пробігаємося по альтернативам: Palantir Foundry, Iceberg, Hudi. (Допис з порівнянням). Мінісрач “хто опенсорснійший”. Змагання по швидкодії
- 35:59-36:26 Милі котусики сперечаються, хто кого більше любить
- 36:26-42:07 Коли обирати дельту замість Snowflake чи BigQuery.
- 42:07-44:47 Time Travel & снепшоти - чи дорого і навіщо взагалі?
- 44:47-47:37 Зручніть розгортання копій таблиць
- 47:37-48:57 Які найбільші проблеми формату? [згадуємо Structured Streaming]
- 48:57-50:00 Заглядаємо в саму суть дельти ака висновки
- 50:00-51:34 Outro

Twitter: @O_Balachky
TikTok: @o_balachky
Музика: https://www.streambeats.com/ | @stas_gee