Data Human

Рассматривал возможность сделать модуль с обработкой данных стартапов, акселерируемых Y Combinator. В процессе узнал, что количество сотрудников в Stripe составляет 8 000–8 500 человек по всему миру, из них 40% - инженеры и разработчики. Удивлён такому большому количеству. Казалось бы, простой продукт: подкручиваешь платёжку на сайт - и готово. Как будто простой и тонкий слой между тем, кто платит, и тем, кто получает оплату. Но сколько людей трудится... Они точно там все работают? В таком количестве как будто бы можно затеряться и ничего не делать...
Это яркий пример принципа: колоссальный труд за кулисами, чтобы был простой и понятный UX/UI.

Я сам сейчас тоже вкладываю много труда в создание курса, чтобы для учеников сложные темы "заходили" легко и без боли. Ведь за кажущейся простотой стоит невидимый объем работы. 🙂

🛰 Что нового

Прокачал модуль ISS Tracker (координаты МКС).

1. Простой дашборд на Streamlit
Трек станции на карте мира + графики по странам, несколько строк Python. В уроке честно оговорил: Streamlit взят для простоты, в реальной работе это Grafana / Metabase / Superset.
В скрине показываю, как это выглядит.

2. Один DAG → два
Вместо одного пайплайна теперь два независимых + два слоя данных: • iss_ingest → сырые координаты в positions_raw • iss_enrich → определяет страну, пишет в positions
Слои развязаны: отвалится геокодер - сбор координат всё равно работает. Классический паттерн staging-слоёв.


Курс в раннем доступе, для доступа пишите: @storm_de

Отзыв:

Эрик, это просто какой-то разрыв мозга в хорошем смысле 😄

Я вообще не ожидал, что за сутки смогу настолько глубоко погрузиться в инженерию данных. Буквально вчера я был человеком, который вообще не трогал Ubuntu, Docker, Airflow, ClickHouse, PostgreSQL, VS Code и Python, а сегодня у меня уже крутится собственный пайплайн с реальными данными МКС.

И самое главное — это не ощущалось как «сухой курс». Это было ощущение, будто я реально прикоснулся к инженерии. Когда ты первый раз читаешь логи, дебажишь ошибку, находишь суть проблемы, правишь схему таблицы и после этого видишь долгожданный SUCCESS — это какая-то магия. Словами не описать эмоции радости))

Особенно поразило, как быстро начинает меняться мышление. Ты уже начинаешь смотреть не как «пользователь компьютера», а как человек, который управляет системой: сервисами, данными, контейнерами, пайплайнами. Это не просто решать задачи на leetcode, а прямо работать с инфраструктурой.

И отдельно спасибо за подачу. Очень чувствуется, что курс делал практик, а не человек, который просто пересказывает документацию. Всё максимально живое и настоящее. И спасибо огромное за поддержку в процессе)

Я в полном восторге. Огромное спасибо 🔥

#review

Спасибо за голоса! Я обновил аватарку и логотип на сайте.
В следующем посте я поделюсь очередным отзывом о курсе.
Этот и другие подобные отзывы убеждают меня, что я работаю над курсом не зря и создаю именно то, что нужно. ⚡️

Помогите выбрать логотип для Data Human - курсам по Data Engineering!

Я застрял на выборе между двумя концепциями.

1️⃣ Голова + база данных — прямая отсылка к Data Engineering, хранилищам и DWH

2️⃣ Голова + барчарт — аналитика, данные, рост

Оба варианта на картинках выше 👆

Какой из них лучше отражает суть курса по Data Engineering?

👍 — за базу данных
❤️ — за барчарт

Если что, пишите в комментариях почему!

Вот придумай любое слово и подставь перед ним "Data", обязательно найдется компания с таким именем, даже если не связана с данными... Все, кому не лень назвались датой и все названия заняли. Жесть 😁.
Как у JS разработчиков, придумай любое слово и обязательно найдется JS библиотека или фреймворк с таким названием.

Еще один отзыв по модулю МКС, от программиста:

Прошел модуль - хочу сказать, это прерасная работа! 🌟 Особенно хочу подчернуть внимание к деталям. Проблем на Windows никаких не возникло (тут можно обойтись без предоставления прав к папке). Единственное, что пришлось уточнять - это что за функция такая в clickhouse "toStartOfFiveMinutes()", ну и чутка подробнее вникать в якорение. Круто и интересно, мне очень понравилось! 👍 🔥

да, иногда приходится ждать подольше, когда стартанет airflow, когда появится dag - и конечно, очень хорошо, что в тексте указано, что следует иметь терпение и подождать)

ты молодец! 🔥
Спасибо за возможность изучить материал))

#review

Отзыв человека, который прошёл тест-драйв модуля:

Хоть это и минимальный и очень простенький проект, но какая-никакая практика с очень вкусным и современным стеком для вкатунов - польза огромная, написано всё очень понятно, без лишнего, не справиться с чем-то крайне тяжело. Код DAG'а разобран достаточно, важные его настройки упомянуты, оч понравилось.

Ещё очень приятно было увидеть блок с аналитикой. Просто мало кто из тех, кто вкатывается, думает о работе ДЕ с этой стороны, как по мне ДЕ важно понимать, как люди пишут аналитические вопросы с данным, которые они предоставляют.

Учитывая, что это только один блок из множества, мне уже кажется, что курс получится очень здоровским

#review

Еще нужны люди, кто не работал с Airflow и Clickhouse.
Для тестового прохождения модуля по отслеживанию полета международной космической станции.
Модуль маленький, быстро и легко проходится.
Займет минимум полчаса, максимум пару часов или больше.
Нужны люди, кто готов пройти сегодня и завтра, т. к. я корректирую модуль по фидбэкам.
Напишите в лс.
@storm_de

Сообщение для тех, кто не работал с Airflow и Clickhouse.
Нужны 2 человека для тестировочного прохождения модуля МКС Трекер.
Напишите в лс.
@storm_de

Как вам такая тема... мне кажется, это романтично )
Будем мониторить местопложение международной космической станции.
Стек: Airflow + Clickhouse
—
Заниматься любимым делом (писать уроки) - это мой отдых в это прекрасное воскресенье.

Сегодня я сделал небольшой раздел о заполнении профиля на LinkedIn и активности на этой платформе.
В скринах небольшая часть.
Да, пока так, технические части тоже делаю, чуть попозже о них тоже буду писать тут.

Меня смущает длинное название курса:
Data Engineers Pro School.
Оно выбрано потому, что курс является частью моего карьерного хаба для Data Engineers - dataengineers.pro. Я пытался придумать что-то короткое, например, мне нравится Data Cat (как вариант для начинающих), но это название уже занято. Не знаю, что с этим делать: с одной стороны, можно оставить как есть, с другой - придумать другое, более простое и короткое название, ведь ощущение такое, что пока это длинное проговоришь, уже устанешь. Мне нравится минимализм в нейминге. Если есть идеи, предлагайте.

Пару недель не трогал курс, болел - какая-то странная зараза: сначала болело горло, потом что-то вроде гриппа. На работе накопилось задач, и приходится ими заниматься. Прикольно, что многие мои знакомые из разных стран тоже все одновременно заболели. У вас также?

Мысли в начале создания курса:
"Курс должен быть максимально простым, понятным и этим отличаться от других курсов".

В процессе:
"Как же это сложно и муторно, все упрощать, разжевывать, объяснять и как много времени это занимает...."

В курсе будет модуль про поиск работы, в нём - раздел с большим списком компаний с корнями из СНГ.

Первое (с темным фоном) - новое лого
Второе (со слоником) - старое лого