AWS Glue теперь сам строит DAG из ссылок между таблицами 😈

9 сентября AWS показала Spark Declarative Pipelines в Glue 6.0. Инженер описывает таблицы и преобразования на SQL или Python, а движок сам определяет зависимости, порядок выполнения и параллельно запускает независимые ветки.

Так слои Bronze 🔜 Silver 🔜 Gold можно собрать одним Glue-заданием без ручной внутренней оркестрации через Airflow или Step Functions. Есть и режим проверки: он разбирает граф и компилирует SQL/Python, не записывая данные.

Нюанс: планировщик для запуска самого задания всё ещё нужен. Материализованные представления пересчитываются полностью; для инкрементальной обработки между запусками требуются потоковые Iceberg-таблицы с контрольными точками в S3.

Пруфы:
🔘разбор AWS от 9 сентября 2026 года
🔘техническая документация

#aws #awsglue #apachespark #apacheiceberg #etl #dataorchestration #dataengineering

@data_engi