Apache DataFusion Comet 1.0.0 Release

Comet ускоряет Spark-запросы, преобразуя физические планы Spark в планы DataFusion. Существующие приложения переписывать не нужно, а сам Spark и его экосистема остаются на месте.

В версии 1.0 появилась поддержка Spark 4 и ANSI mode, расширено покрытие операторов: joins, window functions, generators и native shuffle. Если выражение ещё не реализовано на Rust, codegen dispatch позволяет выполнить только его через Spark, не возвращая весь участок плана обратно в JVM.

Для проверки совместимости Comet прогоняет более 24 000 тестов из собственного набора Spark, а также использует end-to-end и fuzz-тесты. С версии 1.0 проект следует semantic versioning.

Источник: ♾️Apache DataFusion Comet 1.0.0♾️

@tldr_data