Data Apps Design

Airbyte Clickhouse destination

Airbyte deployed Clickhouse destination which I already use to gather data from multiple sources.

By default it replicates all the data as JSON blobs (all the attributes inside one String field)

To get it flattened you either have to do it yourself or use Airbyte normalization.

1. Flattening manually with JSON functions

JSONExtract(_airbyte_data, 'id', 'UInt64') as id

➕ Could be tricky and exhausting if you have a lot of attributes.

➖ Works extremely fast

2. Airbyte normalization (= dbt underneath 😉)

➕ It will flatten all your data automatically

Technically it is auto-generated dbt project

➖ Still a little bit buggy and looks like a work in progress.

I almost managed to get it done, but I use Yandex’ Managed Clickhouse which demands you use SSL / Secure connection.

Unfortunately, Airbyte’s dbt profiles.yml is hard-configured to secure: False at the moment.

I might create a PR to fix this when I have some time.

#airbyte #clickhouse #dbt

Hey, long time no see 🙂

We have just started our engagement with dbtLabs at Wheely.

Guys will try to conduct audit and help us improve our dbt deployment even further.

They have already access to:
– dbtCloud (jobs)
– Github repo (code)
– Redshift (database)
– Looker (bi + monitoring)
– Slack (communicating)

And yesterday was the Kick-off call. Overall great impressions.

What is going to happen:
– Audit: Deployment + Performance
– Audit: Project Structure
– Features/Fix's

I will keep you posted.

AWS denounces its own error logs

Your post may include a non-inclusive word (master)

😭😂

The world ain't all sunshine and rainbows. It's a very mean and nasty place.

Especially when you use select *

When a base table changes, all the downstream dependencies might break down.
Please don't deploy such things to production.

⬇️⬇️⬇️

#bugs

Если кто был со мной на собесах разработчиков DWH, то знают, что я люблю задавать вопрос "знаете ли что такое dbt"? И пока никто из кандидатов не ответил "да")

А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле, что добавляет возможности работать со структурой DWH как с кодом обычного приложения. Появляется версионирование, генерация SQL, макросы, тестирование, управление зависимостями и т д. Правильность этого подхода демонстрирует то, что крупные компании, работающие с данными, пишут свои внутренние решения для генерации SQL (пример - Яндекс.Go).

Ниже запись митапа на эту тему от моего коллеги Артемия Козыря. Рекомендую к просмотру.

В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)

Я буду участвовать в одном из подкастов.
Также будет ряд других интересных тем.

Трансляция будет вот здесь, а живое обсуждение - в чате DevsCamp в ТГ.

Подробности: https://t.me/teamleadcampchat/2307

#meetup

[RU] Слайды с митапа:
– [dbt meetup] Почему вашей компании нужен dbt?
– [dbt meetup] Статистика запусков dbt и поиск узких мест

#meetup

Трансляция на YouTube, начинаем!
https://www.youtube.com/watch?v=10H45iYaCc8

[RU] Привет!

Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00

Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.

В программе 4 интересных доклада и ответы на вопросы:

- Почему вашей компании нужен dbt?
- Опыт использования dbt cloud в modern data stack
- Макросы dbt как единая версия правды
- Сбор статистики по запускам dbt и поиск узких мест в графе

https://space307.team/dbtmeetup