дата инженеретта

CustDev

В моей голове не укладывалось, что это такое, пока я не попробовала на себе. Сначала я не хотела идти, но когда позвали персонально, то почему бы и не пойти на что-то новое)

Кастдев - это по сути встреча, где вы выступаете пользователем продуктов, а другая сторона - разработчиком собственного продукта. Меня поспрашивали про:

🤩мои боли
🤩что мне неудобно в функционале
🤩что мне хотелось бы видеть
🤩как часто я пользуюсь тем или иным приложением
🤩какие задачи я решаю с их использованием
🤩что мне хотелось бы автоматизировать
🤩трудности, если бы я была новым коллегой
🤩и т.д.

Возможно, это был бонус, но мне даже показали UI и что там уже можно поделать

Такое проводится с большим количеством людей, чтобы собрать мнения и потом создать ультра-мега-супер-классный продукт, который понравится всем (в идеале)

Встреча была интересной, я постаралась выжать из себя идеи, но как будто это не мой формат 😅 К сожалению, меня ничего не бесит и не раздражает в этой жизни))

Следующий шаг - осознать, что каждый день на работе делает DevRel…

Архитектурки

Вчера прошел "Lakehouse Meetup", где было 2 выступления и панельная дискуссия на тему проблем, технологий, опыта разных компаний: Т-Банк, Лемана Тех, Азбука Вкуса, S7 Airlines, Querify Labs, Positive Technologies (как ни странно)

Картинка №1 - to be, до которой дошли в Лемана Тех (почти)
Картинка №2 - как сейчас в Азбуке Вкуса

Успела заглянуть всего на полчаса, чтобы посмотреть офис, встретиться со знакомыми людьми и съесть пару вкусняшек 🙂 Остальное досмотрела в записи, что можете сделать и вы:

YouTube
VK

#system_design

Новый релиз Airflow!

https://github.com/apache/airflow/releases/tag/3.0.0

Уже есть видос с фичами, этот чел мне постоянно в линкедине попадается:

https://youtu.be/PMO5LPc112E?si=GwiHa9KFte7uVeNN

Моя теория расписаний

Меня несколько раз спрашивали, как у меня получается делать столько дел и все успевать?

🎹 Я думаю, эта история заложилась как минимум, когда я параллельно училась в лицее+муз колледже. Я выписывала все доступные слоты по каждому предмету в колледже и искала оптимальное время

Потом ходила к преподам договариваться, чтобы разрешили ходить с другими группами. Если слотов не было, договаривалась прийти на экз со всеми конспектами. У меня как будто американское образование, потому что я всегда ходила с разными людьми😂

На индивидуальные занятия ходила даже домой, потому что по времени было больше никак. Я даже когда-то охарактеризовала себя так: «Каждый семестр я немножко колдунья»

👟 Часто я бегала туда-обратно по несколько раз в день (типо колледж-универ-колледж-универ)

Было особенно забавно, когда у меня совпали экзы в универе и выпускные гос экзы в колледже. С утра я сдавала в одном месте, а после обеда в другом. Бывало, что договаривалась с универом и сдавала с параллельной группой

🕊 На фотке №1 - мое расписание, когда я училась уже в универе+муз колледже. Периодически я была занята с 8 до 20. А еще в идеале нужно было заниматься за фортепиано минимум по 4ч в день. Кроме теор предметов, было 5 индивидуальных с инструментом два раза в неделю, к которым просто необходимо было готовиться🫠

🕊 На фотке №2 - забавная смесь, где на левой страничке я готовилась к угадайке по опере, а на правой делала домашку по линалу

🕊 На фотке №3 - пример моего текущего расписания. Мне всегда куда-то надо и в несколько мест одновременно 😅

🖍Решила заодно перечитать свой «Дневник размышлений», который пополняю мыслями несколько раз в год. Нашла интересные аффирмации:

Сейчас время ускользает сквозь пальцы, а все мои идеи так ими и остаются. А я растрачиваю свое невозвратимое никогда благо на ерунду, когда нужно начать действовать!

Я могу. Я хочу. Я делаю

‼️ Я дропнула базу на проде ‼️

Ну... почти

дропнула ➡️ перезаписала
базу ➡️ схему
на проде ➡️ на деве

Я просто сделала в спарке:

(
  df
  .write
  .format(data_format)
  .mode("overwrite")
  .save(path)
)

Но в переменной path оказался путь не к табличке, а ко всей схеме...

В целом, ничего критичного не случилось, но грустно и неприятно. Как говорил классик: "Anything that can go wrong will go wrong". Так что будьте внимательны, дамы и господа

Наткнулась на статью, которую опубликовал лид моего тимлида в прошлом году

https://habr.com/ru/companies/lamoda/articles/810705/

ClickHouse Tips and Features

Недавно один подписчик спрашивал, остались ли еще какие-нибудь крутые презы по инструментам. Вот откопала презу по кх)

Теперь дока - мой верный друг

В последнее время чувствую необходимость пойти в доку и почитать, если нужно что-то найти. Привожу список полезных ссылочек с небольшим описанием:

✨ Spark - движок для распределенных вычислений большого объема данных на нескольких машинках
https://spark.apache.org/docs/latest/configuration.html

🐇 Trino - SQL-движок для запросов к разным видам источников данных
https://trino.io/docs/current/index.html

👩‍💻Scala - Java-подобный язык (но не совсем)
https://www.scala-lang.org/api/3.x/scala.html

👩‍💻 PyArrow - либа для работы с данными
https://arrow.apache.org/docs/python/index.html

🐘 YARN API - API для менеджера ресурсов на кластере
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

🍺 brew - менеджер пакетов для мака
https://formulae.brew.sh/formula/

👩‍💻 Python - ну что тут еще добавить
https://docs.python.org/3/library/

🌺 Airflow - оркестратор потоков обработки
https://airflow.apache.org/docs/apache-airflow/stable/index.html

⛩ Jinja - шаблоны на питоне для динамической генерации
https://jinja.palletsprojects.com/en/stable/

👩‍💻 Docker - платформа для контейнеризации приложений
https://docs.docker.com/reference/

👨‍🏫 Bamboo - CI/CD
https://confluence.atlassian.com/bamboo/bamboo-documentation-289276551.html

🗻 Iceberg - табличный формат хранения данных с транзакциями, возможностью иметь несколько версий таблицы и т.д.
https://iceberg.apache.org/docs/latest/

🟢 Apache ORC - колоночный формат хранения данных
https://orc.apache.org/docs/index.html

Пост-мит dbt meetup

Только что закончился dbt meetup

Что было:

1️⃣"Данные под контролем: Great Expectations в деле"

База про что такое data quality, какие критерии качества данных бывают, как добавить тест в GX, какой файлик с результатами получается, как выглядит таблица в UI DataHub (это такой дата каталог, чтобы пользователям было удобно смотреть бизнес-сущности, запущенные проверки и т.д.) Хотелось послушать на х3, скучно, в чате были вопросы круче, мне не понравилось :(

2️⃣"Так ли удобен dbt, как о нём рассказывают (костыли, ограничения, трудности)"

Про dbt на практике. Как переопределять макросы, добавлять хинты для dbt, как обращаться к системным таблицам, как возвращать значения из макросов, особенности логирования и работы с json, dbt unit testing (либа)

3️⃣"Современные практики локальной разработки и тестирования в dbt"

Про локальную разработку в dbt, Makefile (для удобного запуска команд), Zero Copy Clone (прод - read-only, запись в dev), dbt unit tests (в dbt core), эфемерные модели, фикстуры (один раз создаются, даже если нужны в нескольких тестах)

4️⃣"DuckDB на каждый день - меньше рутины, больше аналитики"

Про pandas, DuckDB overview, кейсы использования, как интегрировать с dbt, новые фичи в SQL (group by all, union by name и т.д.)

5️⃣"Данные на максималках: инкрементальные загрузки и partition replacing"

Про инкрементальные модели в dbt, SCD, WAP-паттерн (Write-Audit-Pattern, сначала записываем, потом проверяем и публикуем), метод замены партиций, продвинутая работа с изменениями в данных. Тут надо еще немного преисполниться

rows between

Когда я в декабре решала Advent of SQL, на 11 день было интересное задание - найти скользящее среднее по текущей строке с двумя предыдущими. Еще похожая штука применяется, когда нужно найти кумулятивную сумму

🚃 Выход - оконка! (но только в целях SQL)

Мы можем написать так:

avg(amount) over(order by column)

Но под капотом это так:

avg(amount) over(order by column rows between unbounded preceding and current row)

т.е. мы стартуем с первой строки и берем все до текущей

Всего есть несколько способов тюнинга:

--от первой до текущей
rows between unbounded preceding and current row

--от текущей до последней
rows between current row and unbounded following

--с конкретикой - сколько до и сколько после
--от предыдущей до текущей (2 строки)
rows between 1 preceding and current row

--от текущей до 1 следующей (2 строки)
rows between current row and 1 following

--от предыдущей до следующей (3 строки, еще текущая есть)
rows between 1 preceding and 1 following

В контексте задачи со скользящим средним просто нужно взять не 1, а 2 строки:

avg(amount) over(order by rows between 2 preceding and current row)

А для кумулятивной суммы нужно просто сделать так, потому что по дефолту она и будет кумулятивной✨

sum(amount) over(order by column)

Стата по моим офферам

Довольно многих волнует тема офферов, поэтому я тут поделюсь своей историей

🪐Разделим последний год на 2 hr-кампании, когда я осознанно хотела пособеситься. Каждая кампания длиной примерно 2 месяца:

1️⃣ лето: 02.07 - 06.09
2️⃣ зима: 23.12 - 12.02

➡️ Первая hr-кампания меня сильно прокачала в плане проведения собственных собесов и научила не быть слепым котеночком. Иногда я ставила даже 2 собеса в день, и моя энергия скатывалась куда-то в минус

➡️ А в зимний период я понимала, что может быть сложно начинать. Но мне сказали, что бюджеты все равно закладываются заранее, так что по сути в начале года ничего не мешает начинать найм

☕️ Итак, смотрим на графички. Не поленилась, прошлась по всей стате на hh и по всем перепискам в мессенджерах😁 Возьмем оранжевую линию за основу - это те вакансии, которые были мне интересны. Конверсия в оффер получилась 8/15 = 53% vs 1/21 = 4,7%. Т.е. зимняя hr-кампания отработала в 11 раз хуже летней. Возможно, с весны эта ситуация меняется? Но я не уверена

👩‍💻 Также есть качественная разница в уровне компаний. Если летом мне писали отсюда:
CIAN
Альфа
МТС
Magnit
Лента

То зимой конкретно все поменялось:
Quickly Search
WMT Group
ИЦ АЙ-ТЕКО
Datanomica
Trinity Monsters

🗓️ Средняя длительность hr-процесса получилась 10 дней летом vs 18 дней зимой (зааффектили нг каникулы). Включала компании, от которых я получила ОС по итогам собесов, и исключила выброс в виде яндекса - там 63 дня на 3 этапа 👍

Прокомменчу 3 других отказа зимой:
Касперский - двх на MS SQL🙂 и я была просто антиметчем их вакансии
Билайн - искал топового скалиста🙂
Авито - завалилась на алгосах с NP-полной задачей🙂

🎤 В итоге я пришла к таким выводам:
- хоть и количество просмотров увеличилось
- но очень много интеграторов, и общее качество компаний упало
- отклики на hh не работают (почти), в большинстве пишут сами и поэтому заинтересованы больше, чем если откликаться самому

Было страшно подавать заявление, понимая, что на рынке вот такая ситуация, выходить только через месяц, а у меня единственный оффер на руках

🎤 Есть кто сейчас в процессе поисков, какие ощущения?