Продолжение классной статьи про роль дата-инженера, на этот раз про тренды и будущее.

Очевидно, все они напрямую связаны с общими по отрасли (аналитика, ML, Big Data):
🔹дата-инженеры в будущем частично заменят дата-саентистов (задач по инфраструктуре будет только больше);
🔹после того, как ответственность за данные перетечет из единого центра компетенций к отдельным командам, каждой из них потребуется поддержка дата-инженера или свой собственный специалист такого профиля;
🔹появится больше стартапов-единорогов, решающих задачи дата-инженеров (далеко ходить не надо, Snowflake и Databricks уже безумно взлетели);
🔹инструменты для перемещения данных станут повсеместно распространены, будут у всех, учить их обязательно;
🔹обработка данных в реальном времени станет отраслевым стандартом.

🔗Ссылка

#data_engineering #компетенции