Data Human

Анонс модуля

Представь: ты DE в нейротех-стартапе, который делает девайс против микросна за рулём и на опасных производствах.

Когда человек проваливается в дремоту, он закрывает глаза - и в мозге нарастает характерная волна. Устройство должно поймать этот момент и разбудить, пока не случился микросон.

Скоро новый модуль Data Brain: Data Engineer и нейроинтерфейсы 🧠 - ты анализируешь реальные данные мозга и учишься отлавливать момент закрытия глаз.

Область непростая, но топовая.
Про стек расскажу позже.

Модуль будет после Трекера позиции МКС. Скоро доступен участникам курса.

#announce

#backstage

Помимо курса я веду DE-сообщества на 3600+ человек и нейротех-джоб-канал. Тема работы с данными в нейротехе всплывает регулярно - решил собрать ресурсы в одном месте.

Запилил на сайте страницу-базу: курсы, книги, инструменты (MNE, MOABB, YASA), датасеты, события - всё для тех, кто хочет работать с данными в нейротехе (нейроинтерфейсы, обработка ЭЭГ, анализ данных мозга).

К основному курсу по DE не относится, но вдруг среди вас есть те, кому тема близка - залетайте: datahuman.net/neuro

Обновлениями по курсу попозже будут 🙂

«SQL я знаю» - думает почти каждый новичок. SELECT, JOIN, GROUP BY - база освоена.

Но для дата-инженера это только начало. На реальной работе с большими данными важнее другое: партиционирование, шардирование, колоночное хранение, коллокация данных. Это то, чего обычно не показывают в курсах "SQL с нуля", а на DE-вакансиях спрашивают.

В курсе я собрал карту навыков, где видно эту разницу - что нужно знать именно как дата-инженеру, а не просто аналитику. По SQL, и по всему остальному стеку: ClickHouse, dbt, Airflow, DWH, ETL, Spark.

Вот кусок по SQL 👆 (скрин)

Карта доступна участникам курса - @data_human
Вопросы: @storm_de

Обожаю автоматизировать рутину 🤖

Сделал бота для регистрации новых участников курса. Раньше приходилось заходить на сайт и вручную заполнять форму - создать аккаунт, сгенерировать пароль, собрать сообщение. Теперь делаю всё прямо из Telegram: пишу боту почту и сумму оплаты, а он сам:

- отправляет данные на сервер
- запускает скрипт регистрации
- возвращает мне готовые данные для входа участника

Меньше рутины - больше времени на контент курса.

Это то, чему учу на курсе: автоматизация, скрипты, работа с сервером. Сам живу по этим принципам 🙂

#backstage

Отзыв участника про новый модуль Gravitational Waves

Последнее - в точку. Это и есть суть профессии: данные могут быть про что угодно - чёрные дыры, продажи, заказы, клики - а кайф в том, как ты их собираешь, обрабатываешь и превращаешь в результат.

Модуль на реальном научном каталоге слияний чёрных дыр от обсерватории LIGO: поднимаем ClickHouse, грузим данные, классифицируем, строим дашборд.

Все отзывы по тегу #review

Цена курса выросла до $40

Платишь один раз - получаешь все модули навсегда: и нынешние, и будущие, без доплат.

Из свежего:

- Бесплатный демо-модуль - если хочешь посмотреть пример учебного модуля, напиши в лс.
- Карта навыков для Junior DE готова - что знать по Python, SQL, Git, Bash/Terminal, Docker, dbt, ClickHouse, PostgreSQL, Airflow/Dagster, Spark/PySpark, Data Modeling, DWH, ETL и Big Data концепциям. По каждому разделу - конкретная глубина, без воды. Не «изучи всё», а что именно и до какого уровня

Вопросы и оплата: @storm_de

Про последний отзыв. Человек выделил две вещи: «есть полноценный проект» и «от задания получил удовлетворение». Это и есть цель курса.

Почему я вообще решил делать курс:
- По DE в целом мало курсов.
- Большинство оставляют после себя фрустрацию. Проходишь - и получаешь морально-эмоциональный урон.

Почему так? От курса ты ожидаешь, что попробуешь поработать так, как в реальной работе. Курс должен в смоделированной ситуации провести тебя по естественному циклу работы DE:

1. Есть проблема, которую нужно решить с помощью данных.
2. Как данные собираются.
3. Как, почему и для чего обрабатываются.
4. Как передать их потребителю - аналитику, DS-нику, менеджеру, кому угодно.
5. Какие инсайты эти данные дают.

То есть курс должен поместить тебя в рабочую ситуацию - сначала в максимально лайтовую.

А если он вместо этого занудно умничает про нормальные формы и моделирование данных - человек в недоумении (важные темы, но не прям на входе). Нет проблемы - нет понимания, зачем всё это учить.

Сухая теория не запоминается, сразу улетучивается. Поэтому мой курс даёт практику, а теорией её проясняет и закрепляет.

Какие мысли крутятся в голове у человека, который не понимает, чему его учат, и забывает материал:

«Я недостаточно умный для такого»
«Я плохо запоминаю, мне надо зубрить»

То есть человек начинает винить себя, его совесть потихоньку ест по кусочкам. Так быть не должно. После занятия человек должен получать моральное удовлетворение и позитивное подкрепление, и в голове должны крутиться совсем другие мысли:

«Да, была такая проблема - и у меня получилось её решить, используя подход X и инструмент Y»
«Ого, я ведь могу применить этот подход и для аналогичных задач»
«Я потрогал руками то, к чему боялся прикоснуться и что раньше изучал только теоретически»".

Делюсь отзывом еще одного участника курса.
Кстати, речь как раз про новый модуль Gravitational Waves - забираем реальный научный каталог слияний чёрных дыр от обсерватории LIGO, поднимаем ClickHouse, считаем аналитику и строим дашборд. Космос на твоих графиках 🙂

И Вам спасибо) Мне понравилось. На самом деле я уже много курсов прошёл, пытаясь освоить и вкатиться в профессию. Но как правило, они очень узконаправленные. Везде пишут про ETL, ELT, но по итогу в заданиях часто делаешь крайне неполноценную задачу. А как собирать всё вместе, нужно догадаться самому) В этом модуле, пусть данных не много, но уже есть полноценный проект, с каким-то результатом.
Про Streamlit ещё не слышал, выглядит прикольно) От задания получил удовлетворение)

Со всеми отзывами можно ознакомиться по тегу #review

Напоминаю: осталось 4 места по $30, дальше цена $40.
Кто заходит сейчас - фиксирует доступ ко всему курсу навсегда.
Вопросы и оплата: @storm_de

Что нового: модуль про чёрные дыры + карта навыков. И меняю цену
Накопилось, чем поделиться 👇

1. Новый модуль - Gravitational Waves. Полноценный практический проект на реальных научных данных: забираем каталог слияний чёрных дыр от обсерватории LIGO, поднимаем ClickHouse в Docker, грузим данные Python-скриптом, классифицируем слияния (чёрные дыры / нейтронные звезды), считаем SQL-аналитику и строим дашборд на Streamlit. Реальные события космического масштаба - на твоих графиках.

2. Карта навыков для Junior. Сначала замахивался на все три грейда, но решил сфокусироваться: сейчас полезнее вкладывать время в курс для новичков, чем распыляться на middle и senior. Сделал карту для Junior - что знать по Python, SQL, Git, Linux, Docker, dbt и остальному стеку, и до какой глубины. Без воды.

3. Про цену. Курс кусок за куском становится плотнее, и это повод сказать: ранний доступ сейчас стоит $30. Это стартовая цена для самых первых, и уже есть первая группа учеников.
👉 Беру ещё 12 человек по $30, дальше цена $40. Кто заходит сейчас, фиксирует доступ ко всему курсу навсегда: и к тому, что есть, и ко всему, что добавлю потом.
Вопросы или хотите глянуть, что внутри, - пишите в лс @storm_de
🙂

Случайно обнаружил, что ровно год назад начал делать сайт для курса. За год - 682 коммита. 🙂

#backstage

Друзья, делюсь отзывом еще одного участника курса:

Привет! Удалось вчера наконец-то дойти до курса на чуть-чуть. Всё как и писали в отзывах, очень просто и понятно на реальных примерах.

Мне кажется такая подача материала это то, что реально работает на большинстве людей с разным бэкграундом, в отличии от некоторых крупных школ: там люди возможно и специалисты, но как это часто бывает, хороший специалист не всегда хороший преподаватель, я много раз расстраивался, что я тупой, пока не начал просить гугл мне объяснить.

#review

Анонс модуля

Люблю слушать фидбек от участников курса - для меня это полезный брейнсторминг.
Один из участников предложил составить карту навыков, которую можно использовать как справочник. А кто я такой, чтобы отказываться от хорошей идеи?

Сейчас на этапе составления: что должен знать Junior DE по Python и SQL.
Дальше будет по другим технологиям и грейдам.
Это будет отдельный справочный модуль в курсе.

#announce

Что меня радует - люди, которые помогали мне тестировать один из модулей, вернулись и купили доступ к полному курсу. Для меня это очень приятный и важный сигнал.

#review

Я давно делаю сайт курса, подбирал дизайн, фронтенд-стек и т. д. Пусть это всё требует времени, но я всё равно этим занимаюсь, потому что хочу удобный и приятный пользовательский интерфейс. Ещё свой сайт гибкий — можно легко добавлять новый функционал. Например, я захотел сделать так, чтобы при демонстрации структуры папок проекта можно было папки раскрывать и закрывать. Теперь это работает (скрин).

Data Human pinned «Цена 50 долларов - курс в разработке, модули выходят постепенно, поэтому пока так. Платишь один раз и получаешь все модули навсегда: и нынешние, и будущие, без доплат. Цена растёт по мере выхода новых модулей - кто зашёл раньше, платит меньше. Оплата принимается…»

Цена 50 долларов - курс в разработке, модули выходят постепенно, поэтому пока так.

Платишь один раз и получаешь все модули навсегда: и нынешние, и будущие, без доплат. Цена растёт по мере выхода новых модулей - кто зашёл раньше, платит меньше.

Оплата принимается из любой страны.

Пишите @storm_de