Data Engineer

Решил воспоследовать примеру кумиров из ВИА Бони Нем и объявить прощальный тур. Последняя возможность послушать "Гарри Поттер и большие данные" в авторском исполнении. Такие вот "Поминки по дата-инжинирингу", только без Федорова и Волохонского...

https://t.me/mathshubedu_ru/987

Подъехала новая архитектура ELTP.

Extract, Load, Transform, and Publish.

Этап publish похож на Reverse ETL, но как пишет автор статьи, вы не понимаете - это другое.

All Reverse ETL destinations are Publish-type destinations, but not all Publish destinations are Reverse ETL.

Сама статья в блоге Airbyte.

Похоже теперь каждая компания хочешь придумать модный buzz word, как DBT делают с modern data stack.
И потом продвигать новую концепцию на всех конференциях.

Подъехал "убийца DBT"

Встречаем SQL Mesh

SQLMesh можно использовать через CLI/ноутбук или в веб-IDE с открытым исходным кодом.
SQLMesh создает эффективные среды разработки и промежуточного хранения с помощью «Виртуальных витрин данных» с использованием представлений,
что позволяет вам плавно откатывать или накатывать изменения!
С помощью простой замены указателя вы можете перенести свои «промежуточные» данные в рабочую среду.
Это означает, что вы получаете неограниченные среды copy-on-write при записи,
которые делают исследование данных и предварительный просмотр изменений дешевыми, простыми и безопасными.

Основной концепцией SQLMesh является идея виртуальных сред данных,
которые представляют собой набор представлений в схеме,
указывающих на материализованные таблицы, хранящиеся в отдельной схеме

Некоторые другие ключевые особенности:

- Автоматическое создание DAG путем семантического анализа и понимания сценариев SQL или Python.

- Модульные и интеграционные тесты CI-Runnable с возможностью преобразования в DuckDB.

- Обнаружение и согласование изменений на уровне столбца

- Нативная интеграция с Airflow

- Импортируйте существующий проект DBT и запустите его в среде выполнения SQLMesh(в превью)

Выглядит достаточно интересно

Вот еще интересная статья о том, как data-driven подход (не только он, конечно) помог превратить неудачника четвертого дивизиона в крепкий клуб английской премьер-лиги.
С детства за Брайтон😁

https://www.sports.ru/tribuna/blogs/knedlikyapivo/3195611.html

Data-driven "Милан"

Билли Бин и манибол в "Милане" - однозначно новость года для меня из мира данных. Хочется понаблюдать, что из этого получится, жаль, что времени не хватает матчи смотреть. Европейский футбол пока достаточно прохладно относится к продвинутым данным, предпочитая надеяться на "чуечку", и автор в статье объясняет почему.

Поработать в спорте - моя детская мечта, с которой и началось увлечение данными. Вот только ФКСМ пока молчит... А, судя по летним трансферам и последним результатам, дата-офис им крайне необходим😁

https://www.sports.ru/tribuna/blogs/kleshchonok/3171782.html

#немогумолчать

Это просто невероятные ощущения, когда тебе в рассылке приходит твоя же статья😁

Всех с пятницей!

Светлой памяти Майкла Гэмбона... Это ж надо было так совпасть.

https://vc.ru/u/2214539-mathshub/856411-garri-potter-i-inzhenery-dannyh

Я впервые про эту фишку узнал в 2013 году. Как сейчас помню, коллега так делала. Уверяла, что их на предыдущей работе DBA заставляли так писать, дескать запросы быстрее работают. Сути она не знала, на плане разницы не было. Чуть позже я услышал версию, что в ранних версиях MS баг был, Merge Join на неравенствах не работал, а 1=1 равенство добавляло и некоторые запросы действительно ускорялись. Баг починили, а привычка осталась. Про то, что так удобнее условия закомментить, я додумался значительно позднее😀

https://t.me/rockyourdata/4325

#мысливслух

Вторая заповедь тим-лида: "В день выхода нового сотрудника начинай искать ему замену."

Friday, I'm in love😀

Коллеги из Mathshub решили поддержать тренд на "поговорить о токсичных работодателях". Все по делу.
От себя добавлю, что очень важно следить не только за репутацией компании, но и за ее сотрудниками, за тем, что они делают в публичном пространстве. Есть конференции, есть хабр, есть тг-каналы, linkedin опять же, то есть множество источников для сбора информации. Я вот комментарии люблю читать. И составил для себя список людей и компаний, с которыми работать не хочу. Это не значит, что они плохие, мы просто разные. И сам уже давно спокойно отношусь к тому, что кому-то не подхожу.

https://vc.ru/u/2214539-mathshub/836703-10-priznakov-toksichnoy-kompanii

Сила одного (истЕрия Data Mesh)

«Она ушла в 6 вечера с работы, села в свой автобус и поехала домой. » (ВИА Тараканы - «История создания Data Mesh»)

Жамак Денгани вышла из офиса, села в автобус и уставилась невидящим взглядом на небольшой экран телевизора над сиденьем водителя. Мысли ее блуждали очень далеко, она чувствовала, что приблизилась к решению очень важной проблемы, но ухватить суть никак не получалось.
На экране Стеф Карри забросил очередной трехочковый, высунул капу изо рта, задумчиво пожевал ее, засунул обратно, окинул взглядом ревущие от восторга трибуны и, широко улыбаясь, отступил в оборону.
«Как же у них все просто,» - подумала Жамак, «отнял-отдал-открылся-бросил, вот бы и дата-мире сделать что-то подобное…» И тут ее осенило.

На следующий день Жамак позвонила своему коллеге по Thoughtworks Мартину Фаулеру, гуру IT:

- Жамак, ты с ума сошла? В смысле, устрицы с шампанским? - извини, я отвлекся, думаю об ужине. Я хотел сказать, - в смысле, нужно дать доменам волю самостоятельно управлять своими данными? Это противоречит здравому смыслу.

- Мартин, у русских есть группа Тараканы!, почти как наши Rancid, только круче. В одной из песен у них есть строчки: "Я просто верю в то, что рушить догмы, - лучший способ не стареть". Я словно всю жизнь жила с этим и вот только теперь поняла, что это значит. У меня появился шанс изменить мир, и я ни за что его не упущу.

- Я хоть и родился в Уолсолле, городе Роба Хэлфорда и Нодди Холдера, но русские панки мне тоже по душе. «Может коктейль не долетит, но он запущен и горит.» - как-то так пели мои кумиры из CWT. Действуй, если что я прикрою.

Обрадованная Жамак выключила видеосвязь. Мартин Фаулер откинулся на спинку кресла и вставил в уши наушники. Его земляк, бог heavy-metal, Роб Хэлфорд настойчиво советовал ему, нарушая закон стать ломающим челюсть привычному укладу, ведь он часовой рефакторинга и перед рассветом новой эры в управлении данными должен быть защитником веры.

P.S. Пинта пива нашедшему все песни ВИА Judas Priest в последнем абзаце.

Терпеть не могу "мат на поле" (один раз даже из-за этого уволился😁), но не мог пройти мимо, ибо жизненно. Мазды у меня нет (как и прав), поэтому я обычно отправлялся бегать, будучи хэд оф дата инжиниринг...

Нашел прекрасное на просторах ЛинкедИна. Я в свои годы могу рассказать, как правильно вставать со стула, чтоб в спину не стрельнуло.
Хоть новый курс для синьоров запускай...

Rock-n-Roll Until We Die

"Ну что, потрентим на тему “Data Mesh"? (С. А. Жариков "Музыкальная анатомия поколения независимых")

Прежде чем начать погружение в "бирюзовые глубины" Data Mesh, скажу, что для меня это не подход, не методология, не архитектура, а философия, практически смысл жизни, степень веры в децентрализацию, в человеческую целостность и осознанность. Это не кунг-фу, а значит, не может существовать ни лучшего, ни чистого, ни правильного Data Mesh (хотя обязательные условия все же существуют).

Лучше всех главный пререквизит к его внедрению выразил Трент Кримм из The Independent:

"Это сработает, Data Mesh. Ты сменил тактику не сейчас, ты менял ее три сезона. Медленно, но верно выстраивал в команде культуру доверия и поддержки на тысяче незаметных моментов, и это привело к неизбежному, к Data Mesh. Это сработает!"

Свою формулировку предлагают космос-панки из ВИА “Элизиум”: “Чтобы каждый перед каждым был ответственен и честен”. Кому как не им об этом знать? Ведь Data Mesh представляет собой коллаборацию двух далеких друг от друга музыкальных направлений: панк-рока и фри-джаза.

От панк-рока Data Mesh берет приверженность к личной свободе, DIY-философии и принцип "прямого действия". Фри-джаз же некоторые его исследователи характеризуют следующими тезисами: "Фри-джаз — это джаз, в котором музыканты целиком берут на себя ответственность за то, что играют. Фри-джазмены не обращаются к шаблонам и во время исполнения должны согласовывать каждый элемент импровизации с партнерами и т. д. " А не отсюда ли растут корни дата-контрактов? 🤔

И если в вашей компании это сошлось, то есть вероятность появления собственных "керамических псов", а то и "алмазных гончих". Попытки внедрить Data Mesh в неподходящей для этого среде приведут к провалу, как у Нейта Шелли с West Ham United.

Special thanks товарищам Tube & Berger и примкнувшему к ним Richard Judge за чудесную композицию, давшую название новому циклу. А также Александру Петроченкову за книгу о крафтовом пиве.

Продолжение следует...
#datamesh

Ну и о главном😀

#мысливслух

«Если уж решился стать архитектором данных, то надо идти в своем увлечении до конца».

Первое, что нужно сделать — «убить в себе инженера». Гнать от себя подальше подленькие мысли, что сделал бы по-другому. Унять зудящие руки, так и тянущиеся что-нибудь написать, типа: create_dag, select * from big_and_wide_table, а то и drop database.

После чего заняться своими непосредственными задачами.

Я здесь изложил свой взгляд на DataOps, если же кто-то хочет составить собстенное мнение, книгу «The DataOps CookBook» можно скачать совершенно бесплатно.

Добавлю сюда еще парочку моих самых любимых цитат.

"We believe that the secret to successful data science is a little about tools and a lot about people and processes."

"A single data engineer should be able to support ten data analysts and scientists."

Последняя должна служить метрикой качества управления данными в компании😁

Ссылка на книгу: https://datakitchen.io/the-dataops-cookbook/

Думаю, что многие сталкивались с подобным, очень полезное видео, вне зависимости от вашей профессии. https://youtu.be/BJ_tLZBe_wk