Data Human

Осень - традиционно время, когда берутся за карьерные планы. По вопросам в личке это заметно.

Если думал зайти в Data Engineering - момент удачный. Курс стоит примерно как один час консультации у опытного ментора. Только час закончится, а доступ останется навсегда - со всеми модулями, включая будущие.

50 долларов, платишь один раз.

Пишите @storm_de

Пока делаю модуль по Kafka, перелопачиваю материалы. Классика жанра - книга Гвен Шапиры. Полез читать отзывы и нашёл вот это.

Тридцатилетие, значит. Надеюсь, ребёнок оценил.

#backstage

Пропал на несколько недель - прилетел краткосрочный проект на стыке данных и нейротехнологий, поверх основной работы. Уже закончил. К курсу отношения не имеет, отдельная история.

Возвращаюсь. Следующий модуль - Kafka. Отдельный и подробный: не кусок пайплайна, как в Data Brain, а целиком про неё. Как устроена, зачем нужна, где ломается. 💛

#backstage

Отзыв по модулю отслеживания движения МКС.
Стек: Airflow, ClickHouse.
В модуле определяем, на основе живых данных, над какими странами движется МКС, сколько над сушей, водой и т. д.
Участница курса ещё креативно сверила, под какими созвездиями летит МКС. ✨
Радуют идейность и инициативность. 💯

#review

Вам для вдохновения, как А. Миловидов создал аналитическую БД, которая сначала создавалась для одной конкретной задачи в Яндекс Метрике, теперь распространяется на весь мир и приносит деньги.
https://www.youtube.com/watch?v=FSGhaMmqWTA

Неделя тишины на канале - отвлёкся на другой проект по данным, в сфере дошкольного образования.
Подбирал разные лого и вот смотрите что я придумал! Мне кажется, лучше не может быть! Лого одновременно:

- Детская музыкальная игрушка ксилофон.
- Столбики диаграммы (данных).
- Деревянное ограждение садика - забор.

#backstage

Это просто новая функция телеграмм: позволяет объединить чаты в одно пространство, сообщество.
Я объединил свои чаты и каналы.

Места по $40 закончились, дальше $50. 💛
Работаю над новыми модулями: DWH, Kafka.
Сначала выйдет Kafka - отдельный, подробный модуль, целиком про неё (в Data Brain она была частью пайплайна, здесь - глубокое погружение).

Страх перед новой технологией

Заметил на себе и на участниках: страх перед новой технологией лечится не чтением документации, а одним маленьким примером, который запустился и заработал. Дальше уже не страшно.

Это методология, на которой я стараюсь строить курс.

Я понимаю, почему курсы сложно устроены и в них много теории: технологии и задачи правда непростые, хочется охватить всё, ничего не забыть, дать полную картину. Но для автора курса это ментальная ловушка, которую надо видеть и обходить.

Чек-лист для первого, ознакомительного модуля - каким он должен быть, чтобы первый контакт с технологией не пугал:

- Простые слова вместо сложных терминов
- Коротко: минимум шагов до первого результата
- Практика, а не теория
- Задача из понятного бизнес-кейса - пиццерия, такси
- Конкретная проблема, которую решает технология

Последний пункт - самый важный. Абстрактная теория ради абстрактного знания стека - это зло. Учить надо решать проблему, а технология подтягивается следом.

#backstage
#blog

Приятный отзыв от участника курса.

Осталось 4 места по $40. Дальше $50.

@storm_de

Программу можно посмотреть на datahuman.net, есть демо модуль.

#review

Манящая эстетика данных

У работы с данными есть своя притягательная, даже манящая эстетика:

1. Data Engineer работает на интеллектуальные процессы: принятие решений на основе данных, подготовка данных для Machine Learning - строишь то, на чём думают компании и ИИ.

2. Навыки DE - универсальный фундамент: весь IT так или иначе занимается обработкой, хранением и передачей данных. Из DE можно перекатиться почти в любую IT-профессию.

3. Если ты разобрался в Data-тулзах и умеешь строить Data-системы - твой мозг способен освоить почти всё что угодно. +1000 к уверенности.

4. Работа с данными вырабатывает привычку опираться на факты, а не на ощущения - это переносится и на решения в жизни.

5. Данные - это способ удовлетворить наше детское стремление узнавать скрытое.

6. Данные везде, не только в ИТ системах. Нейроны в мозге передают сигналы, ДНК хранит код жизни и некоторые физики идут дальше и говорят, что и материя в своей основе - это информация.

Данные - это двигатель мира и то, из чего мир состоит. It from bit - гипотеза физика Джона Уилера: всё сущее ("it") в своей основе рождается из информации ("bit"). Вселенная в этой картине - не материя, внутри которой есть данные, а данные, из которых складывается материя.

—
На фото: инсталляция Рюдзи Икеды data.flux [LED version], 2021

#blog

@data_human

Осталось 7 мест по $40. Дальше $50.

@storm_de

Цена курса вырастет до $50 после следующих 15 продаж.

Сейчас $40 - разовая оплата за все модули курса, включая будущие. Выпустил Data Brain - самый сложный модуль курса, полноценный streaming-пайплайн на Kafka, ClickHouse и Metabase. Все, кто купил курс раньше, получили его без доплаты.
Курс растёт, цена растёт вместе с ним. Следующие 15 участников заходят по $40 - дальше $50.
datahuman.net
Готов зайти сейчас - пиши: t.me/storm_de

Представь, ты - junior DE в нейротех-стартапе Sign System. Продукт DataVision - носимый датчик, который ловит момент, когда человек начинает засыпать, и будит его до микросна.

Клиент - Kingsroad, автоперевозчик с 12000 фур. Боль клиента: дальнобойщик засыпает за рулём, и это стоит жизней. Разбудить - не твоя задача, это делает само устройство мгновенно. Твоя задача начинается дальше: данные с каждого датчика улетают в облако, и клиент хочет знать, где риск выше, у кого чаще эпизоды и в какие смены. Это уже аналитика на потоке, и строишь её ты.

Этот кейс ты проходишь руками на этом курсе.

Стек модуля:
Приём данных: настраиваем поток сигналов с датчика в реальном времени.
Пайплайн: ловим поток через Kafka, сохраняем в ClickHouse и собираем витрину в Metabase.

13 уроков: от ознакомления с данными до продакшн-пайплайна с контролем качества и надёжностью потока. На выходе - DE-скилл.
Это один из модулей курса - есть ещё трекер МКС (Airflow, ClickHouse) и другие модули.

Курс сейчас стоит 40 долларов - платишь один раз и получаешь все модули, включая будущие.

Сайт курса: datahuman.net
Вопросы и оплата: @storm_de

Лучшего примера для демонстрации Kafka не найти.

🧠 Модуль Data Brain: разгоняемся

Существуют реальные устройства, которые в реальном времени считывают сигналы мозга и отправляют их на сервер. Для работы с таким динамичным кейсом идеально подходит технология потоковых данных - Apache Kafka.

Определил финальный стек модуля:
- Сбор данных: настраиваем прием сигналов с нейроинтерфейса в режиме real-time.
- Пайплайн: ловим этот поток через Kafka, надежно сохраняем в ClickHouse и собираем наглядную витрину в Metabase.

По-моему, звучит довольно вкусно.

🎬 Скоро во всех кинотеатрах страны!