Надо знать более 30 инструментов для DE!

Я тут решил посчитать кол-во инструментов, которыми пользуется ДЕшник и вышло более 30 штук. Очевидно, что туда входили и Hive и Clickhouse и какой-нибудь Bash или Spark. Очень под большим сомнением я бы выбрал это направление, если бы мне сказали на старте, ЧТО НАДО ЗНАТЬ ВСЕ!

Поэтому я бы расставил для себя и других такие приоритеты. Например PostgreSQL, Python, Airflow, Git, Bash. Вот реально на этих инструментах уже можно написать простенький pipeline, который и хранит и обрабатывает ваши данные. Конечно не BigData, но и она не всегда требуется.

Но остается еще одна проблема. Вот мы отфильтровали из 30 инструментов только 5. Супер, понятно, что требуется рынку, но откуда нам знать, как их теперь использовать, для чего они вообще нужны?

В далёком 2022 я очень много пересматривал видосов англоязычных авторов, но у них там было много Amazon, Google и так далее. А мне хотелось что-то доступное и локальное! Ну вот кто такой Дата Инженер, в чем его смысл?

Кстати, имейте в виду, что информация даже двухлетней давности уже сейчас начинает устаревать и пересматривать более свежие выпуски "Кто такой Дата Инженер" вполне разумный поступок! Особенно в эпоху развития ChatGPT...

Если вы спросите, а где же тогда посмотреть самый свежий выпуск?
Например, я бы порекомендовал ребят из karpovꓸcourses

У них как раз 15 июля в 19:00 МСК будет бесплатный вебинар на эту тему

вот кстати ссылка, приходите➡️ https://clc.to/erid_2W5zFHKo51a

Спикеры:
📌 Евгений Ермаков — PhD, руководитель платформы данных, ex-Yandex, ex-Mailꓸru, ex-Glowbyte
📌 Дина Сафина — руководитель платформы данных, ex-Ozon.Fintech, ex-Mailꓸru

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHKo51a