дата инженеретта

💡Ответ💡

Коллеги в комментах правильно отметили, что при фулле будет 7 строк, поэтому правильно:

✨0 7 5 7✨

🌿Inner Join
Минимально - если ключи в таблицах разные:

t1: 1, 2, 3, 4, 5, 6, 7
t2: 8, 9, 10, 11, 12

🌿Left Join
По-любому 7 строк точно будет, т.к. left берет все из левой таблицы. Минимально - если строки сметчились 1:1 (каждый id встречается один раз) или не сметчились.

🌿Right Join
По-любому 5 строк точно будет, логика та же.

🌿Full Join
Тут формула: max(n, m) = max(7, 5) = 7

В нашем первом примере хоть и будет 12 (нет ни одного одинакового id), но во втором случае будет меньше:

t1: 1, 2, 3, 4, 5, 6, 7
t2: 1, 2, 3, 4, 5

Спасибо за бдительность🫡

repartition vs coalesce

💗 Вопрос у каждого первого.
Нужны для изменения количества партиций в датафрейме. Как итог - файлов на диске.

По умолчанию это 200, можно переопределить при создании спарк сессии конфигом spark.sql.shuffle.partitions

Посмотреть количество партиций можно так:

df.rdd.getNumPartitions()

📚 Пример. У нас есть датафрейм [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] с 4 партициями:

Partition A: 1, 2
Partition B: 3, 4, 5
Partition C: 6, 7
Partition D: 8, 9, 10

Делаем так:

df_nums.repartition(2)

Partition ABC: 1, 3, 5, 6, 8, 10
Partition XYZ: 2, 4, 7, 9

Repartition
🖇делает партиции равномерными
🖇может увеличивать и уменьшать количество партиций
🖇под капотом шафл

В нашем примере циферки из каждой партиции размазались двум финальным партициям - это и есть шафл (перетасовка данных между экзекьюторами).
Именно за счет шафла работает первое и второе.

df_nums.coalesce(2)

Partition A: 1, 2, 3, 4, 5
Partition C: 6, 7, 8, 9, 10

Coalesce
🖇равномерность не гарантирована
🖇может только уменьшать
🖇данные не шафлит, а склеивает

Файлы клеятся друг за другом (без шафла), поэтому умеет только уменьшать (из склеенных файлов обратно расклеить уже нельзя).
В нашем примере B просто приклеилось к A, а D к C

#spark_tips

Как написать джойн без джойна?

📃Пусть у нас есть таблица с клиентами (client_id, name) и заказами (order_id, amount, client_id).
Нужно вывести имя клиента и сумму всех его заказов. Если нет заказов - то 0.

🌷Подход №1 - join (все очень просто)

SELECT name, SUM(COALESCE(amount, 0)) AS total
FROM clients c
  LEFT JOIN orders o
    ON c.id = o.client_id
GROUP BY name
ORDER BY name

🌷Подход №2 - union

Когда что-то нужно посчитать

🟢группируем отдельно по датасетам
🟢проставляем null в отсутствующих колонках
🟢юнионим
🟢группируем по ключу, если бы мы джойнили
🟢навешиваем нужные функции сверху

WITH grouped AS (
  SELECT
    client_id AS id,
    null AS name,
    SUM(amount) AS total
  FROM orders
  GROUP BY client_id
),
final AS (
  SELECT id, name, null AS total FROM clients
  UNION
  SELECT id, null AS name, total FROM grouped
)
SELECT
  MAX(name) AS name,
  COALESCE(MAX(total), 0) AS total
FROM final
GROUP BY id
ORDER BY name

На этапе final у нас будет примерно такое:

id name  amount
1  Alice null
2  Bob   null
3  Cathy null
1  null  2000
2  null  5000

✏️ На моем крошечном датасете в плане запросов в постгре косты второго запроса меньше в 2 раза.
В первом почти все ресурсы тратятся на Hash Join.

#sql_tips

SQL писать умеют все

Не так давно в X5 услышала такое мнение:

SQL писать умеют все.
Даже Junior DA умеет поднять спарк сессию и писать запросы.
DE нужен, чтобы разбираться под капотом - если много данных, сложные расчеты, писать не в лоб, а эффективно, учитывать узкие места, продумывать обновление данных, решать проблемы с замедлением расчетов.

Читая это сейчас, я склонна согласиться. Но когда первые слова на первых минутах - это такое категоричное заявление, то невольно задумываешься, а комфортно ли работается в такой атмосфере.

Что думаете?

#️⃣#️⃣#️⃣ Вакансия в нашу команду!🔥

⭐Что делаем:
В команду маркетинга Сбера ищем разработчика продуктовых витрин.
Мы создаем Martech инструменты для сквозной аналитики, позволяющие отследить весь пользовательский путь от просмотра баннера до первой транзакции.

🌷Позиция: Junior/Junior+ DE
Формат: Офис (по болезни можно дома)

📆Чем предстоит заниматься:
• Проектировать и разрабатывать продуктовые витрины данных
• Мониторить и оптимизировать процессы загрузки, преобразования данных и сборки витрин
• Контролить качество данных
• Разрабатывать инструменты для автоматизации рутинных задач, связанных с обработкой данных
• Разрабатывать и поддерживать внутренние сервисы

➡️Требования:
• SQL на продвинутом уровне
• Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД
• Знание понятий и концепций DWH
• Python (PySpark, Pandas, REST API)
• Airflow/Dagster/Oozie
• BitBucket/GitHub
• Bash

⭐Будет плюсом:
• Опыт работы с веб-аналитическими данными, данными мобильных приложений, рекламных кабинетов (YandexMetrica, AppMetrica или др. кликстримы)
• Знание банковского бизнеса
• Опыт работы по Agile

🎈Условия
• Классная и дружная команда
• Непростые задачи и быстрый рост
• Льготные условия кредитования и ипотеки
• Бесплатная подписка СберПрайм+
• Скидки на продукты компаний-партнеров
• ДМС с первого дня и льготное страхование для близких
• Корпоративное обучение, тренинги, митапы, доступ к библиотеке
• Современный офис в центре Москвы

✉️ Писать мне: @aigul_sea

👩‍💻 👩‍💻Про leetcode

Неделю назад решила достать свой акк на литкоде и начать решать задачки. Потому что когда-нибудь это может пригодиться на лайв кодинге, а я уже буду без стресса и во всеоружии⭐️

🎙️Иногда бывали такие вопросы, когда накатывала внутренняя улыбка и я думала:

Ага, про это я писала в своем канале)

И хочется достичь такого же уровня:

Ага, я уже решала такую задачу и помню, как она решается

Кстати, в самом начале увидела задачку про палиндром, которую спрашивали у моего коллеги на собесе.

📖 Даже если не понадобится, то все равно это основа для моего дальнейшего развития. Я сверяюсь с залайканными решениями, изучаю возможные оптимизации по памяти/месту, запоминаю технические и логические лайфхаки.

Пока решаю простые задачки и планирую их все добить (бесплатные). Python - чтобы подумать, SQL - чтобы отдохнуть😅

А у вас как дела? Есть тут чемпионы?

💡Ответ 💡

count('email')
count(1)
count(-100)

☕️ Давайте разбираться

Есть табличка emails:

1 hello@gmail.com
2 null
3 null
4 hello@mail.ru

⭐️Что выведет каждый из запросов?

email == `email` == "email"
Эти три конструкции одинаковы, они обозначают само поле.
Кавычки нужны, когда название поля - это ключевое слово или когда написано на русском.

По условию email - уникальное, поэтому
count(email) == count(distinct email)

📍count не считает нуллы
Поэтому в нашем примере по всем этим 6 запросам будет ответ 2.

Ответ - 2.

🦶 Идем дальше

count('email') - здесь мы подаем на вход строку с названием 'email' (не поле!)
Т.е. на вход каунту будет так:
1 email
2 email
3 email
4 email
Мы по сути считаем количество строк.

Ответ - 4.

Аналогично для этих двух запросов:
count(1)
count(-100)
Вообще неважно, что писать в скобках, хоть '2340sdjf2фыа934!-3/'. Результат всегда - это количество строк.
1 -100
2 -100
3 -100
4 -100

Ответ - 4.

Ну и в count(distinct 'email') получается, что мы берем уникальные строки 'email'. А они везде одинаковые.

Ответ - 1.

Кидаю ссылочку на буст канала
Пишите свои пожелания по реакциям)

https://t.me/boost/data_engineerette

💬Наш командный сленг

Просто захотелось записать крутые словечки, которые мы используем внутри команды) Некоторые могут быть общепринятыми, но мы с коллегами постарались накидать своих особенных:

🔠
aboba - почти дефолтный нейминг всяких тестовых табличек, файликов, переменных
🔠
Багулина - баг
Базёнка - база данных
Биг боссы - руководители
🔠
Грядка - ряд рабочих мест
🔠
Джирафлоу - перемещение задачек по статусам в джире
Дикий интернет - интернет нормального человека
Дип дайв - образовательная техническая встреча, где кто-то из коллег рассказывает про крутые штуки
Дорогие коллеги - устойчивое выражение по отношению к коллегам
🔠
Жира - джира
🔠
ЗНОпс (запрос на обслуживание) - история с заведением заявок, получением согласований
🔠
Каминг-аут - релиз
Кодулина/эскуэлина - кусочек кода
kutuza moment - когда мы переехали с кутузы в другой офис, все казалось непривычным: мыло само не льется, вода сама не включается. это выражение описывает такие моменты, когда ты стоишь ждешь мыла или забыл выключить кран
🔠
Миграция/интеграция с хх - когда коллега собирается уйти
🔠
Ореховая леди - женщина, которая с утра раскладывает орешки
Особый стендап - прощальный стендап
🔠
Падаван - джун
Плов - Airflow
Пользак - пользователь
Проблема будущих нас - как Скарлетт, которая подумает обо всем завтра
🔠
Синк - встреча нескольких команд, чтобы обсудить статусы
Скам мастер - скрам мастер
Смотритель зоопарка, сопровод - сопровождение
С улицы - когда коллега пришел не из Сбера
🔠
Технина - у нас был коллега, который работал в яндексе. там у них проводились техтолики (типо techtalk). и я как-то предложила для Толика придумать даму сердца - Нину. теперь у нас есть технина))
Трубочист - девопсер
🔠
Узя - Oozie
Улучшайзинг - процесс улучшения
🔠
Фактура, собрать фактуру - поресерчить, прийти с конкретными кейсами и вопросами
🔠
Хабуп - Hadoop
Хадуповоды - название нашего чатика, где мы решаем проблемы с кластером
Хомяк - папка /home
🔠
Человек-джоба - когда ручками запускаешь то, что можно автоматизировать
🔠
Ярн киллер, придет ярн киллер - одно из требований безы к витринкам - если они падают, то должен быть процесс, который придет и убьет поток. и наоборот - если поток падает, процесс приходит и убивает расчет витринки

💬А у вас есть что-то, что понимаете только вы?)

007. Надо брать и делать с Data engineer

Пообщались с Айгуль Сибгатуллиной. Сейчас Айгуль работает в Сбербанке на позиции Data Engineer.

Также ведет свой канал в телеграмм @data_engineerette.

Получился очень любопытный путь — несколько стажировок от фронтенда до бекэнда, опыт в консалтинг, потом аналитиком. И сейчас уже инженер данных.
Как так получилось? Мы обсуждали сегодня в подкасте!

👇 Слушайте, где удобно! 👇
Яндекс.Музыка
Youtube
VK

Приятного прослушивания! ❤️

#podcast

Вышел подкаст со мной!
Теперь я звездочка 😊

Вопросы на middle+

😵 Недавно позвали на собес, решила сходить для контента🤩 Для меня он был прям сильно нестандартным, т.к. больше гоняли по кейсам "что будешь делать, если" и задавали нетривиальные вопросы по технике.

🚩 Ниже краткий списочек тем и вопросов:

DataOps
Синхронная/асинхронная репликация
Селективный запрос
Покрывающий индекс
Всегда ли план запроса отражает правду?
Zookeeper
MapReduce
Spark
Что делать, если надо показать отчет за месяц, а данных за один день нет?
Что делать, если после загрузки в dwh данных в 3 раза больше?
Золотая запись
PL/SQL процедуры
Движки в КХ
MDM (master data management)
Data Lineage
Data Vault/Anchor/Звезда
В каких случаях что выбирать?
ACID
WAL (Write-Ahead Logging)
Что сложнее - update vs insert?
Физические джойны
Какую бд выберешь, если ...?
Что делать, чтобы сравнить данные с источником, api?
Как будешь решать нестандартную задачу?

👍 Можете порассуждать в комментах)

#собес

🔵Колоночные базы vs Семейство колонок

У нас закупаются корпоративные курсы, и я сейчас прохожу очередной по де) До этого не сталкивалась с семейством колонок, везде пишут по-разному, так что держите ликбез 🐹

❔ Колоночная/столбцовая СУБД
Columnar, Column-oriented DB

Тут должно быть все понятно. Данные хранятся рядышком поколоночно, поэтому работают быстрее.
Это реляционная база.

Примеры: ClickHouse, Vertica, Snowflake, Google BigQuery.

❔ Семейство колонок
Wide-column store

А вот это уже NoSQL штука.

🖌Пример - таблица с пользователями.

У каждой строки есть ключ:

Maria

Для каждого ключа задается семейство колонок:

personal_info, address

Для каждого семейства - сами колонки:

personal_info <- firstname, lastname, age
address <- city, street

Сами колонки можно добавлять на лету, заполнять у строк по-разному или вообще оставлять пустыми (null не хранится).

Примеры: HBase, Cassandra, Google BigTable, ScyllaDB.

Тут статейка очень старенькая, но есть полезности.

😐 Я поняла семейство колонок как подтаблицу. Они не поддерживают джойны/подзапросы, поэтому OneToMany и все остальные моделируются вот так.

По терминологии так до конца и непонятно. Вроде как и те, и другие - колоночные. Но первые реляционные, а вторые - нет. Как-то так)

🍄 Итоги розыгрыша 🍄

Кое-кому сегодня удача особенно подмигнула,
и нашим победителем становится...

Улмас Киличов ☺️☺️

Напишу, обсудим все детали.
И буду думать, что бы еще интересного замутить)

А пока всем хорошего дня и недели!

Что спросить на собесе?
У HR, команды и руководителя.

Недавно общались с коллегами и накидали свой список, что бы мы спросили/что обычно спрашивают:

1️⃣ Офис/удаленка/гибрид
Условия согласования
Обязательно ли с 9 до 18 или можно двигать, дорабатывать попозже

2️⃣ Выдается ли техника?
Как вам доставят?
Есть ли офис в вашем городе?

3️⃣ Новая команда или на замену?
Команда может укомплектовываться, но может и разваливаться

4️⃣ Состав команды
Сколько человек?
Сколько дата инженеров/аналитиков, других ролей?
Разбивка по джунам/мидлам/сеньорам?

5️⃣ Кто обучает?
Кто лидит в команде: техлид, тимлид, продукт оунер?
Кто делает code review?

6️⃣ Аутсорс/аутстаф?

7️⃣ Какие инструменты, технологии?
Скорее всего, к этому моменту вам уже все рассказали

8️⃣ Скрам или канбан?
Канбан означает, что команда типо сервисная, много ad hoc-ов
Есть ли Jira, Confluence или что-то подобное?

9️⃣ Есть ли системный аналитик?
Если нет, то придется вам копаться в документации и общаться с заказчиками

1️⃣0️⃣ Кто заказчики?
От кого ТЗ?
Аналитики, бизнес, другие подразделения

1️⃣1️⃣ Описание рабочего дня
Какие задачи?
Бывают ли переработки?

1️⃣2️⃣ Какие KPI для сотрудника?
Как расти в компании?

1️⃣3️⃣ Есть ли скрам-мастер?
Проводится ли ретро?
Глобальное демо на несколько команд? (например, раз в квартал)

1️⃣4️⃣ Культура командных посиделок
Есть ли чатик с мемами?^^

🐾Есть еще что добавить?

Как ПСИ проходили

🦆 Мы сейчас мигрируем витрины данных на свой кластер и перед каждым релизом проходим ПСИ.

🤓 ПСИ - это приемо-сдаточное испытание, где проверяют, а что за данные, а как, а почему, а с какой целью, а какой атрибутивный состав, а какая логика расчета и тому подобное. Что потоки с витринами успешно запускаются без падений.

👉 И вот во время созвона мы обнаруживаем, что для установки на прод не хватает release notes, которые автоматом проставляются. Т.к. это все для нас впервые, то мы не в курсах, как их быстро добавить.

🏃‍♂️ Пишу коллеге, который нам помогал по этому поводу, - не читает. Звоню(!):

- Как проставить release notes?
- Надо запустить доп. пайплайн в Jenkins
- Где его найти?
- Лежит рядом с основным (хотя бы это знаем)

Иду в Jenkins, как заполнять поля - непонятно, смотрю примеры, делаю по аналогии, запускаю - отработало!!!

👨‍🦯 Лид тайм от реагирования до исполнения: 16 минут.
ПСИ успешно пройдено.

Mic Drop

😊 Розыгрыш! 😊

Разыгрываю книжку "Spark в действии", которую даже сама читала в электронном варианте😁
Готова переслать по России или лично вручить в Мск!

Нужно:
1️⃣ Быть подписанным на канал
2️⃣ Оставить коммент - напишите любое ключевое слово из sql/spark/языков программирование/airflow итд итп

Итоги будут подведены 17.06.2024

Удачи🙂