Ежедневно появляются новые системы, устройства и приложения, а уже существующие расширяются и обрастают новой функциональностью. Несмотря на то, что, безусловно, часть систем и приложений со временем перестает существовать, очевидно, что данных в мире становится все больше и больше. С большими объемами данных приходят и большие изменения. Меняются структуры подразделений, занятых в обработке, анализе данных и прогнозировании. Меняются роли и позиции тех, кого принято в общем и целом называть Data Engineer, меняются сами принципы работы и организации data-команд.

Для многих уже начался рабочий год и, кажется, имеет смысл оглянуться назад на недавнее прошлое и поразмышлять на тему того, во что будет развиваться роль инженера данных в ближайшем будущем. Прочитав несколько интересных статей, я сам всерьез задумался об этом, а теперь хочу поделиться — отчасти прочитанным, отчасти своими собственными мыслями, появившимся после прочтения.