🚀5 вещей, которые изменились в области дата-инжиниринга за последние 10 лет

Понравился пост-рефлексия от Seattle Data Guy, который, кажется, можно перенести на всю сферу данных.

1. Все хотят только “сеньоров”
Команды стали меньше, а задачи — сложнее. С AI один опытный инженер делает больше, чем раньше делала целая команда.

2. Облако — это база
Если раньше cloud-решения были опцией, то теперь это стандарт. SQL Server → Snowflake, on-prem → cloud.

3. Меньше самописных пайплайнов
Почти никто больше не пишет собственные планировщики на cron и Python. Все строится на готовых инструментах — Airflow, dbt, Coalesce и др.

4. SQL окончательно победил
Попытки заменить SQL новыми языками (HiveQL, BigQuery Legacy SQL, NoSQL) ушли в прошлое. SQL стал базовым навыком — без него не нанимают. dbt и другие инструменты только укрепили его статус.

5. AI меняет рабочие процессы
Copilot-помощники уже пишут DDL и дебажат код, но иногда и создают иллюзию продуктивности вместо реального прогресса.