Мой вам совет не надо идти на Data Engineer. Тут легаси, куча SQL, медленные запросы. Приходится хадуп настраивать. Загуглите из любопытства как выглядит конфиг для YARN. А потом ещё посмотрите что из себя представляет Zookeeper, ну какой же треш... а вас это будут пытаться спрашивать на собесах! и потом эти страшные файлы придётся через три прокси на hdfs закидывать шаманить!

Я понимаю что этим сообщением вызову дополнительный интересик, но, поверьте: очень много работы, абсолютное старьё, денег платят меньше чем в среднем по рынку. Делать тут нечего!

Вот я бы рекомендовал смотреть в сторону голэнга, там компиляция быстрая. Тулинг хороший, платят много. Ну напишите вы лишний раз if err := вот эту тему ну ниче с вами не произойдёт. Или мобильные приложения можно идти писать вот там активное импортозамещение.

Всё лучше чем логи спарка смотреть!

Голэнг = модно стильно молодежно, нужно аплаиться и искать вакансии

Data Engineering Spark Hadoop Clickhouse = посмотреть один раз и пытаться забыть как страшный сон, ни в коем случае не советовать как легитимную карьеру уважающего себя человека