Я – Дата Инженер | Евгений Виндюков

Как я потерял 10млн на созвонах!

ниче я не терял. Просто кликбейт обычный. Но суть в том, что во всех компаниях, кроме текущей, предыдущей и пред предыдущей на которых я работал, созвоны могли отнимать кучу времени. Например дейлики. Их нельзя раскатывать на час, полтора. Подключились, обсудили то, что нельзя обсудить в мессенджере, разошлись. Наше время стоит денег.. Даже если вместо созвона мы бы пошли чистить зубы. А они стоят денег между прочим!

Так вот я о чем. Мне оч зашли тейки от моего друга:

созвон ради созвона — это преступление

🔵если твой созвон можно заменить двумя абзацами текста — значит, его надо было заменить
🔵если ты на созвоне молчишь и слушаешь и у тебя не возникат вопросов или комментов - значит, ты тратишь время впустую
🔵если после созвона никто не встал и не сказал «нихуя себе», то это был просто ритуал, чтобы все почувствовали себя нужными

любой созвон должен быть пиздец каким интересным:
- открывающим глаза
- меняющим решение
- вызывающим действие
- влекущий за собой споры, инсайты и так далее

а если нет — пусть все напишут в чат, что надо, что мешает и что дальше будут делать
это займёт 3 минуты
и не придётся смотреть в уставшие лица

созвон — это не фон, это возможность

Немного кстати о нем. Он на валютной удаленке. Пол ляма в месяц. А больше я вам не скажу, это вы сами спрашивайте у него в канале

Он кстати по тут сторону найма и уже тим лид, правда не ДЕ, но нанимать и увольнять людей он умеет.

У него прям можно зайти и спросить:
- А можно, чтобы твоя команда удаленщиков спала до 12 и работать начинали, когда хотят?
- Дружить со своей командой или нет?
- Как уволить человека?
- Накрутчики опыта! Казнить нельзя помиловать?

Короче предлагаю закинуть ему эти вопросы, потому что у него за плечами несколько команд тех поддержки, которые он тим лидил. Поэтому МУДРОСТИ там, как НЕФТИ в ОАЭ!

реально, давайте все подпишемся, я с ним в школе21 еще познакомился - https://t.me/teamleadoff

🆕 ROADMAP Обновлен!

Друзья, наш ROADMAP для Data Engineer теперь доступен в виде сайта!
Это все тот же репозиторий на Github, но теперь в темной теме и с приятным интерфейсом.

Поскольку я все таки визуал, то мне было важно сделать именно стильный и приятный дизайн, чтобы он не отталкивал и его было приятно читать. Поэтому кликайте, читайте, делитесь со всеми ссылкой.

Кстати, Roadmap посещает ежедневно от 300 до 500 уникальных пользователей, поэтому я прикрутил в страницу счетчик Яндекс Метрики и теперь можно собирать данные по API о посещении Roadmap. И что еще круче – эта API будет доступна в нашем BootCamp уже сейчас. А это уже реальный коммерческий кейс. У нас в Сравни была аналогичная API между прочим.

И скоро мы сделаем стрим с Володей, где покажем, как идут дела на нашем BootCamp. Там уже куча DAG в Airflow, куча разного кода, коннекторов. И вот скоро появится еще одна API и витрина в Clickhouse!)

➡️ ROADMAP

P.S. Еще если кто-то добавляет новый материал в репозиторий в ветку main, то все автоматически деплоится на сайт, поэтому пользуйтесь на здоровье)

P.S.S. Для тех, кто не знает – на Github можно хостить свои страницы(сайты) на основе Markdown файлов. И поскольку наш Roadmap весь написан на них, то это отлично работает. URL в будущем сделаю свою. Я уже выкупил домен.

Как дела с работой?

Один из участников нашего BootСamp для Data Engineer прошёл тестовый мок-собес, который мы провели для подписчиков Boosty Роадмаперы — и вот, что он нам написал (см. скриншот 👇):

“Вообще очень помог мок-собес
У меня буквально был сегодня собес технический с Магнитом - почти копия Мок-собеса...”

Кстати, парень показал себя на BootCamp очень круто. Он довольно быстро начал двигаться и всех обгонять. Я сразу приметил его и понял, что точно свой оффер он заберет.

Итог? Уже проходит СБ в Магните. Это скорее всего оффер!

Мок собес лежит у нас в топике созвонов и его можно спокойно посмотреть. Я специально задавал вопросы по кейсам, чтобы это не было 100 вопросов из гугла. Я считаю, что таким образом ты лучше можешь протестировать человека на глубину знаний и насмотренность кода, даже если этот код был пет проектом. Вообще я понял, что можно это ввести, как традицию. Потому что это довольно стрессовая история. Мы проводим мок собесы на глазах у несколько десятков людей в реальном времени.

Есть желание еще добавить секцию лайв кодинга, чтобы побороть страх программирования, когда на тебя смотрят) Это реально сложная вещь. Но таким образом мы будем приходить на собесы уже заряженными, бесстрашными и уверенными! А это очень важно.

Плюс на мок собесе отлично можно получить фидбек моментально. А если ты только слушаешь его, то и поучиться у других. Короче плюсов много.

Ну и самопрезентация. Это вообще один из важнейших пунктов. Правильно презентовать свой опыт – хорошо себя продать. Мы, так или иначе, продаем свои услуги. Молчуны никому не нужны. Ну если только на ассемблере писать файловый дескриптор. Это да. ЭТО БАЗА.

Если ты тоже хочешь такие же результаты — не теряй время:
🔵 Подписывайся на Boosty Роадмаперы — там регулярно созваниваемся и проводим мок-собесы
или
⏺ Залетай в наш мощный BootСamp, где мы готовим тебя от А до Я — от теории до уверенного прохождения собеседований. Ближайший поток будет стартовать 1 сентября. На этом канале мы анонсируем еще стрим по BootCamp и покажем, что происходит там прямо сейчас! Какой код пишут ребята, какие темы мы уже прошли и капец сколько всего еще!

Всем офферов! Качаем эту тему, пока не закрыли)

Когда решения в команде принимаются «на ощущениях», легко промахнуться.

Разберитесь за один вечер, как вытащить из данных ответ «почему» и куда расти дальше, на нашем мини-курсе:

•  6 уроков: SQL → Python → Excel/PowerPoint
•  практика на реальных данных (можно положить в портфолио)
•  поддержка эксперта-практика в чате
•  гайд-подарок «20 фреймворков аналитика» (133 стр. схем и шаблонов, которые помогают быстро находить решения)

1 300+ специалистов уже прошли курс; большинство отмечают, что после него проще находить точки роста продукта и аргументировать решения перед руководством.

⏰ Курс открыт бесплатно до конца июля

Зарегистрироваться на курс

🍔 КРИНЖ Собес!

Позвали как-то на собес в Банк Р****. Я честно о таком вообще никогда не слышал, но а когда, если не сейчас?

Первый созвон. Сидит мужчина взрослый. Начинается собес.

Но обычно он начинается со стандартной схемы, когда тебе говорят план разговора, типа:

Предлагаю сначала мы расскажем о нас,
потом ты расскажешь о себе,
тех. вопросы
и в конце — вопросы друг другу, если остались.

Тут же было иначе. Интервьюер сразу открыл мое резюме и начал с ним ознакамливаться. И не с кейсов на крайнем месте работы, а с ИНСТИТУТА!

⛔️ АЛЛО, откройте дверь, я сейчас вам покажу, откуда я брал интеграл Дюамеля.

Я этот институт закончил, когда начинали появляться первые динозавры. И спрашивает меня этот человек вопрос:

- Вижу у вас институт технический
(а я закончил МЭИ… Нет, это не молочный. Это Московский энергетический. Ну там Red Bull окрыляет, вы поняли…)

- А вы же работали по специальности? А почему решили сменить профессию?

💵 АЛЛО! Я в IT ради денег пришел. Потому что инженером я ничего не зарабатывал, а только попадал под напряжение и ездил каждый день на работу, а иногда и на объекты — и в холод, и в град, и в жару…

Лирическое отступление

Для всех умников, которые считают, что можно зарабатывать инженером также, как и айтишники. Ага, ну вперед: также сидеть на удаленке, направо и налево кидать 300-350-400к рекрутерам и попивать смузи. Это я еще не говорю, сколько приносит реклама, менторство, бусти и так далее.

Я работал инженером, и вероятность лутать там сразу хорошие бабки КРАЙНЕ МАЛА (иммолейт импрувд).

Ну так вот. Отвечаю я этому кринж-персонажу очевидную корпоративную сказку:

что мне тут интересно, что я с садика был Дата Инженером, что вся родословная — это Дата Инженеры, что сам дед у меня был ДЕ. Еще при царе паркеты перекладывал из одного хранилища в другое. Короче — потомственный, не иначе.

Естественно, такой расклад человека полностью устроил. К нему пришел потомственный ДЕшник из Династии Дата Инженеров.

А еще прикол был, что многие ответы на вопросы он записывал на листочек. Это если что собес был не в 1993. А в 2024. Но привычка, видимо, у человека осталась.


💬 И еще прикол. Он спрашивает:

Сколько хотите денег?

Я отвечаю:

- 200к на руки.

Он очень глубоко вздыхает и такой:

200 ТЫСЯЧ НА РУКИ! АГА…ПАНЯТНО

И опять записал это в свой листочек-блокнотик.
😬😬😬😬

Короче, отказался я прямо на собесе от этого предложения. Че за ред-флаги… Я тонкая натура и сильно перегреваюсь, когда на меня давят. Ладно, шучу — я еще тот наглец. На мне сто грехов.

Вот такой вот был минус вайб на таком кринж-собесе. Если есть похожие странные собесы, то присылайте мне на почтовый ящик в деревню КислоДрыщинск дом четыреста двенадцать четыре пять пятого

🔵 Друзья, нужен ваш мозговой штурм!

В сентябре вместе со стартом второго потока BootCamp мы хотим запустить еще одну классную идею!

Коротко это ИнфраШеринг. Хочешь потрогать инструменты такие, как Airflow, S3, Spark, Kafka, PG, CH и другие, но нет желания это всё самому разворачивать? Тогда покупай доступ к уже развернутой инфраструктуре.

Например на сутки, неделю, месяц и так далее!

У нас уже все настроено. Можно посмотреть примеры готового кода, запустить демо pipeline или вообще написать свой собственный. Собрать свой Пет Проект и потом рассказать о нем на собесе!

Там не будет никаких лекций. Только краткие описания. Думаю, что будет ролик онбординг.

Из прикольного – свой собственный VSCode. Можно установить любые темы, расширения для БД.

Короче нужен только браузер и интернет!
⠀
Но хочется придумать крутое, лаконичное и запоминающееся название.
⠀
Пока рабочее — iShare, но хочется собрать больше вариантов.
⠀
🧠 Примеры, которые предложил ChatGPT:
— InfraSharing
— DataShare
— CodeCloud
⠀
🔍 Что ищем:
— Коротко, звучно
— Намёк на инфраструктуру / шэринг / разработку / аренду
— Может быть в стиле Apple, GitHub, Notion
⠀
💬 Пиши свои идеи в комментах! Если выберем название от кого-то из вас,
подарим бесплатно две недели доступа!

Нафига так много знать в DE?

Собрал самые популярные инструменты для DE и написал ДЛЯ ЧЕГО ОНИ ИСПОЛЬЗУЮТСЯ.
Сюда можно еще добавить Github, Bitbucket и Gitlab - они для хранения кода.

На работе будете пользоваться, грубо говоря, ОДНИМ из каждой картинки. Поэтому можно взять только один инструмент и упороться по нему. А остальные знать поверхностно.

➡️ Если что, материал есть в нашем БЕСПЛАТНОМ ROADMAP!

В коментарии приглашаю душнил, которые скажут, что-нибудь про map reduce и hive или rabbitMQ или что dbt это не язык. Но вы их не слушайте. А читайте наш роадмап - это РАЗЪЕБ

Отвечаю на вопрос и выдаю БАЗУ!

1. Архитектуру БД не строят на работе, поэтому и в буткемпе таким не занимаемся

2. Слои данных создавать - это ровным счетом создать схему в бд или папку в S3 и грузить туда данные

3. Как перемещать данные да. Это ребята самостоятельно пробуют делать. Полностью пайплайн пишут

4. Тесты корректности данных только на кол-во строк, кол-во пустых значений можно делать. Но внедрять data quality, когда на работе этого ну будет - нет.

Большую часть теории и сказок про дата Волты, построение слоев хранилищ по медальону и так далее рассказывают продавцы курсов. По факту люди, приходя на работу начинают заниматься обычным перекладыванием из одного места в другой с минимальными трудозатратами. Особенно на Джун, мидл уровне.

У компании нет времени, пока ДЕшники придумают свою гениальную логику пайплайна. Все, как и везде, сроки горят, надо уже вчера сделать. Поэтому всякий тюнинг летит в корзину.

Я вот помню упарывался по отличию Кимбала и Инмона, 3НФ и дата волту. В итоге это нахрен нигде не пригодилось. Все, как у нас в жизни. В школе нас дрючат за логарифмы и синусы, а потом на работе мы бумажки перекладываем. Абсолютно такая же хрень и в IT.

Вы еще сильно разочаруетесь, что учили так много всего, а на работе в итоге занимаетесь из этого 1 процентом. Особенно в банках и близ госух.

Задача людей на буткемпе научиться презентовать свой опыт грамотно, просто отвечать(даже бездумно) на типичные вопросы с собесов и уметь пользоваться инструментами (уметь написать пайплайн самостоятельно).

А для тех, кто считает иначе - он может самостоятельно, как сделал это когда-то я, пойти учить Си в школе21, пойти учить Кимбала и Инмона, купить сто книжек, а потом пойти на собес и с гордостью отвечать на эти вопросы..

Только потом вы будете работать с людьми, которые этого не делали, а получать они будут больше и еще они будут моложе, красивее и успешнее. А вы по потеряете кучу времени, которое не вернуть.

Вот и вся сказка.

Больше БАЗЫ в чате
➡️ Вступить в чат

А это наш мощнейший бусти
➡️ Роадмаперы

📣 ВСЯ ПРАВДА про наш Bootcamp: как оно на самом деле?


📍Прошло уже 2 недели буткемпа — и вот, что там происходит:

🔵Все задачи живут в Jira. Уже видно, кто быстро двигается на суете, а кто не спешит.
🔵В Airflow уже крутятся DAG’и ребят по расписанию
🔵 У каждого — доступ к облачному VSCode, можно даже подключаться к БД и не морочиться с установкой доп программ.
🔵 Лекции — 2 раза в неделю, плюс субботние дейлики, где всё, как на работе: делимся статусами, обсуждаем прогресс.
🔵Код заливается в наш репозиторий на GitHub и деплоится на сервер. Всё по-взрослому.


⚡️Из прикольного:

🔵Два участника уже получили офферы на 200К и 220К.

🔵 В чате сидит наш HR, который наблюдает, даёт фидбек и смотрит на наших ребят.
Все задачи — в Jira, весь прогресс — на виду. Можно смотреть, какой опыт получает человек. Наша задача вообще решить проблему накрутки опыта и сразу выращивать релевантных спецов.


➡️ Кстати, можете подписаться на канал нашего HR


Мы кстати получаем хороший фидбек от ребят и сразу правим и корректируем программу обучения. Поэтому второй поток будет мощнейшим!


Когда старт второго потока?
Новый поток стартует ориентировочно 1 сентября. Можете пока залететь в общий чатик, где уже более 800 человек. Там можно обсудить все моменты, касательно работы, резюме и обучения!

Надо знать более 30 инструментов для DE!

Я тут решил посчитать кол-во инструментов, которыми пользуется ДЕшник и вышло более 30 штук. Очевидно, что туда входили и Hive и Clickhouse и какой-нибудь Bash или Spark. Очень под большим сомнением я бы выбрал это направление, если бы мне сказали на старте, ЧТО НАДО ЗНАТЬ ВСЕ!

Поэтому я бы расставил для себя и других такие приоритеты. Например PostgreSQL, Python, Airflow, Git, Bash. Вот реально на этих инструментах уже можно написать простенький pipeline, который и хранит и обрабатывает ваши данные. Конечно не BigData, но и она не всегда требуется.

Но остается еще одна проблема. Вот мы отфильтровали из 30 инструментов только 5. Супер, понятно, что требуется рынку, но откуда нам знать, как их теперь использовать, для чего они вообще нужны?

В далёком 2022 я очень много пересматривал видосов англоязычных авторов, но у них там было много Amazon, Google и так далее. А мне хотелось что-то доступное и локальное! Ну вот кто такой Дата Инженер, в чем его смысл?

Кстати, имейте в виду, что информация даже двухлетней давности уже сейчас начинает устаревать и пересматривать более свежие выпуски "Кто такой Дата Инженер" вполне разумный поступок! Особенно в эпоху развития ChatGPT...

Если вы спросите, а где же тогда посмотреть самый свежий выпуск?
Например, я бы порекомендовал ребят из karpovꓸcourses

У них как раз 15 июля в 19:00 МСК будет бесплатный вебинар на эту тему

вот кстати ссылка, приходите➡️ https://clc.to/erid_2W5zFHKo51a

Спикеры:
📌 Евгений Ермаков — PhD, руководитель платформы данных, ex-Yandex, ex-Mailꓸru, ex-Glowbyte
📌 Дина Сафина — руководитель платформы данных, ex-Ozon.Fintech, ex-Mailꓸru

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHKo51a

🇷🇺ТОВАРИСЧИ🇷🇺

Кто самостоятельно обучается или хочет обучать по Roadmap'у, сегодня в 20:00 состоится первый созвон в рамках сообщества "Роадмаперы🤩", где Евгений и я ответим на все интерисующие Вас вопросы начиная с "что учитить и где?"🤔 и заканчивая "а правильно ли я отвечаю на вопросы собеседования?"🤔. Ждём всех желающих.🤗

‼️Сегодня последняя возможность купить подписку по скидке в 50%, так что переходи по ссылке и скорее оформляй подписочку.

Все добра😊 и чистейшего кода.👨‍💻