⭐️AWS Glue вышел из секунд в миллисекунды

21 августа AWS выпустила Glue 6.0 на базе Spark 4.1. Новый режим Real-Time Streaming обрабатывает stateless-потоки с задержкой в единицы миллисекунд — вместо привычных для Spark микропакетов.

Также появились декларативные конвейеры, Arrow-native Python UDF/UDTF и полная поддержка Iceberg v3. Стоимость вычислений снижена на 30% относительно прежних версий Glue.

Для инженеров это возможность выполнять простую фильтрацию, преобразование и маршрутизацию событий без отдельного Flink-кластера. Но режим пока рассчитан только на stateless-операции: сложные окна, соединения потоков и большое состояние остаются задачей других движков.

#awsglue #apachespark #streamprocessing #etl #apacheiceberg #dataengineering

@data_engi