❔Вопросы подписчиков

Мне недавно задали вопросы по DE в Варшаве, и я решила привлечь своего знакомого дата человека, чтобы узнать зарубежную точку зрения.
Его зовут Aaron, лет 35, из Канады, PhD, пилит ПО в DS для стартапов.

🌸- это моё мнение
🍊- это его мнение
Решила не переводить, так что качайте аглицкий in action.

1️⃣Дата инженеры ближе к backend или аналитике?

🌸 Мне попадались совершенно противоположные мнения: на одних собесах складывалось впечатление, что де - это недопитонист, на других - что полноценный разработчик. От компании может сильно отличаться, как повезет.

🍊Data engineers share some programming skill with backend engineers, and data engineers share some data skills with analysts.

2️⃣Как Вы считаете, они являются разработчиками, только с другой специализацией?

🌸 Я думаю, что нужно постараться, чтобы стать норм разработчиком, т.к. ЯП используются не до такой глубины.

🍊Yes: software engineers that specialize in data tools.

3️⃣Возможен переход на более технические позиции в тот же бекэнд и/или внедрение практик разработчиков для более качественной работы?

🌸 Думаю, что возможен. Кстати, вчера сходила на внутренний менторинг по питону, и мы накидали темы, которые нужно качать.

🍊Most web service backend development really just demands general computer science and programming background with only a small amount of specialized knowledge in individual languages or frameworks. Really much more drastic changes are also possible if you’re sufficiently motivated and capable.

4️⃣С какими командами внутри компании чаще всего взаимодействуют?

🌸 Основное - DA. DS могут, но сильно меньше. Если бизнес - это уже не DE-шные эдхоки. Поставщики данных (внутренние, внешние).

🍊Probably the data consumers and the engineers who maintain the APIs/data sources.

5️⃣Обязанности под одним и тем же титулом не всегда одинаковые в разных компаниях (т.е на позиции data engineer могут быть требования как к аналитику). Насколько ок/не ок?

🌸 Мне такое вообще не нравится :/ Время идет, а навыки не прогрессируют.

🍊Yeah, this is a red flag. I have seen it happen with a «data scientist» position that had an analyst job description.

6️⃣Насколько это даёт мобильность в будущем при переходе на другие должности? Или стоит работать на условно первой работе дата инженером ради титула и опыта, даже если это аналитик под титулом инженера, параллельно изучать новые технологии и идти дальше?

🌸 Строчка DE определенно открывает много дверей) Но нужно быть готовым, что потом ты все равно попадешь на джуна, если не сможешь доказать обратное. А не имея практического опыта, это сделать будет тяжело. А еще можно попробовать проявить инициативу и внедрять дата инженерские штуки на своем месте.

🍊I would take this option. Stay in your job and keep getting paid while studying. When you interview for real data engineering jobs, you can be honest, but emphasize what parts of actual data engineering you got exposure to, and what parts you have studied for.

7️⃣И немного про стек:

🌸 У нас это Hadoop, Yandex/VK Cloud, Spark, SQL, Greenplum, Clickhouse, Postgres, Python/Scala, Airflow/Dagster, Kafka, Docker - самые основные.

🍊I think most DE work would not be in Python, FWIW, from what I've seen.
Python will still be important, but also SQL, Java, and a bunch of DSLs (e.g. Hashicorp Config Language)
Also you'll probably need to know cloud tools which you'll configure either through a web console or APIs
Some overlap with devops, basically

🌸: Is Hadoop dead?
🍊: I think so. I haven't seen it since 6 years ago.