дата инженеретта

dbt meetup

Когда: 27 марта в 19:00
Формат: онлайн, бесплатно
О чем: dbt, Great Expectations, DuckDB
Где: https://inzhenerka.tech/dbt_meetup

Deciphering Data Architectures

Недавно прочитала книжку "Deciphering Data Architectures" - там всего 275 страниц. Не знаю, есть ли на русском, но на английском читается прям супер легко, где-то за недельку

Автор рассказывает про 6 типов архитектур:

🟠DWH
🟠Data Lake
🟠Modern DWH
🟠Data Fabric
🟠Data LakeHouse
🟠Data Mesh

Подробно описывается каждый тип, эволюция от одного к другому, плюс база про моделирование, как проводятся архитектурные дизайн-сессии и т.д.

Но меня больше всего удивило словосочетание "Data Fabric" - я его в нашем дата-пространстве ни разу не слышала. Кто-то его переводит как "фабрика данных", но у меня в голове осталась четкая ассоциация с "лоскутками данных". Т.е. разные доп. сервисы цепляются друг к дружке, как в лоскутном одеялке 😴

Книжка подойдет, если хотите в своей голове структурировать все эти подходы. Если лень читать так много, то есть статейка с кратким содержанием на полчаса:

https://habr.com/ru/articles/822669/

Закулисье фотостудии

Краткая история о моем походе в фотостудию ламоды

NB! Нельзя было фоткать, поэтому вот официальный кадр кусочка студии

📌📌📌📌📌

Сейчас сезон, в день привозят 2-3к товаров, а к вечеру они должны появиться в каталоге на сайте

☁️ Есть отдельные стенды для каждого вида съемок:

🩷предметная (аксессуары, обувь) - просто фоткают предметы
🩷обувь только на женской ноге
🩷одежда и предметы на модели
🩷детские вещи, шарфы, парео - тут под углом 45 градусов, чтобы можно было красиво разложить
🩷постельное белье - есть даже матрас
🩷маркетинговые - по каким-то поводам, выездные, готовятся сильно заранее

👻 Обитатели студии:

⏺️фотографы
⏺️модели
⏺️стилисты
⏺️визажисты
⏺️копирайтеры
⏺️ретушеры
⏺️менеджмент
⏺️продюсеры
⏺️креативная группа

С моделью работают стилист, визажист, фотограф. Стилисты уже знают, на какой модели какие вещи лучше смотрятся

🎉 Через какие этапы это все проходит:

1️⃣Приемка товара

Со складов приезжают много коробок с вещами, заранее считают, сколько их будет, какие категории, сколько нужно моделей и рейлов. Стандартные размеры - 40-42 для одежды, 36-37 для обуви

2️⃣Preparation

Вещи распаковываются, гладятся, раскладываются по категориям

3️⃣Mannequin

Съемка на манекене

4️⃣Copywriting

Копирайтеры готовят карточки товаров

5️⃣Model

Съемка на модели. Если что-то не сочетается, то у них есть своя «Нарния» с базовыми вещами

В конце дня отсматривают все снимки. Могут поревьюить и сами бренды

Вот такая получилась экскурсия)

Песочница для DE

Один крутой чел создал песочницу с де-инструментами. Из прикольного там есть Zookeeper, MinIO, Iceberg, MariaDB и даже Grafana. Я сама только походила по репе, но вам советую попробовать поднять все это дело, потыкаться и поделиться, что как оно там

Ссылка на репу: https://gitflic.ru/project/ananevsyu/sandbox_db_public

Автор: @ananevsyu 😎

Теперь я lamodian☺️

Начинаю эту весну с изменений в своей жизни - теперь я буду дата инженерить в Lamoda Tech🙂

👔 В пн был мой первый рабочий день - провели онбординг в процессы, выдали мак на м3, устроили экскурсию по офису. Я познакомилась с корп сервисами, сразу записалась на фотосессию для профиля и на экскурсию в фотостудию 🥰

Узнала, что на этой неделе будут проходить встречи, мастер-классы и квизы на тему моды, будет день модных вкусняшек и день призов от какого-то бренда. Все очень прикольно, но в офис я ехать больше не хочу - я добиралась 1:20 от двери до двери с двумя пересадками на метро + автобус😱

🥠 На кухоньке есть свежие фрукты, овощи, зона завтрака с мюслями, печеньки и чокопайки, кофеечек, холодос с 4 видами молока, можно сделать тосты

🙂Из удивительного - в офисе есть душевая, а временный пропуск я оформила за пару минут

🙂В конце нам раздали велком-пак: шопер, термокружка, карабин для пропуска и значок. Я познакомилась со своим тимлидом, установила нужные проги, а почти все доступы у меня уже были

📺 Еще я сходила на встречу "collaba", где менеджмент рассказывает про бизнес-инсайты, цифры, бренды, процессы поставок через страны

🛍️ Плюс каждый месяц у меня есть два промика на -15%, кому нужно - пишите)

Полезности про Spark

1️⃣Я периодически посматриваю доклады с хайлоада. Один из крутых - «Оптимизация Spark-приложений от простого к сложному. С примерами». По ссылочке можно найти презу:

https://highload.ru/moscow/2024/abstracts/13255

2️⃣И тут я поняла, что натыкалась на его же статью про спиллы данных, где подробно на примерах и в картинках это все разбирается:

https://habr.com/ru/amp/publications/743292/

Про качество данных

В конце прошлого года я зачитывалась книжками. И в одной из них мне понравилось выражение, что данные - это "тихий убийца".
Мы можем даже не понимать, что они некачественные, но в какой-то момент это выстрелит.

😭 Был кейс, когда одна команда сделала финансовую отчетность на основе некорректных данных и направила куда-то выше. В этой отчетности цифры были сильно меньше, чем потратили. И встал вопрос - а куда делись все остальные средства? Так что это может довести до серьезных последствий.

❤️‍🩹 А вообще качество данных - это очень хрупкая вещь.

Где может пойти не так?
▶️при выгрузке из источника (поставили лишний фильтр)
▶️при передаче между системами (все задублировалось, потеряли куски информации)
▶️при интеграции нескольких источников (не на все данные прописаны правила сопоставления)
▶️при анализе (неправильно посчитали)

А это очень милая и грустная аномалия в контексте целостности данных:
▶️сироты - когда внешние ключи никуда не ведут

Каждый, кто прикасается к данным, способен повлиять на их качество. Обеспечение качества данных — предмет заботы всей организации, а не только команды качества данных или ИТ.

Руководство данными нужно для того, чтобы «делать правильные вещи» (Doing the right things), а управление данными — для того, чтобы «делать вещи правильно» (Doing things right)

#data_dmbok #fundamentals_of_de

А вы знали, что в питоне так можно?

Собрала несколько кейсов, о которых вы могли даже не подозревать:

1️⃣ Имя функции - это переменная, и этому имени мы можем присвоить что угодно:

def func():
  print('hi')

func()
# hi

func = -1

func()
# Traceback (most recent call last):
#   File "<stdin>", line 1, in <module>
# TypeError: 'int' object is not callable

Естественно, после переопределения все предыдущие возможности перестают действовать

2️⃣ Та же история с модулями:

import math

type(math)
# <class 'module'>

math = -1

type(math)
# <class 'int'>

3️⃣ При импорте модулей существующие переменные перезаписываются:

x = 2

from mymodule import x

print(x)
# 'new_value'

4️⃣ А переменные после цикла остаются существовать:

for i in range(2):
  print(i)

print(i)  # 2

#python_tips

Посмотрела вчерашний митап, вот еще картиночки архитектур

По сути это классическое двх, data lake и data lakehouse

Но вам не кажется, что кх поверх гринплам - немножко многовато, тем более в lakehouse?

#system_design

Решения всех ваших проблем 🙌

Вчера на ретро с командой накидали решения проблем, перетасовали, а потом выбирали подходящие стикеры, как в игре с мемами. И вот что у нас получилось⬆️

Можете в комментах поделиться, что вам советует судьба на этот раз