Apache Ballista стал доступен обычным Python-разработчикам

Вышел Apache DataFusion Ballista 54.0.0 — распределённый движок, который выполняет SQL-запросы параллельно на нескольких узлах.

Впервые готовый Python-клиент можно установить обычной командой pip install ballista, без Rust и сборки из исходников. Движок также научился выбирать broadcast join по статистике, полученной уже во время выполнения, чтобы не гонять лишние данные через shuffle.

Для инженеров это ещё один шаг к лёгкому распределённому SQL-стеку на базе DataFusion. Но пока осторожно: Python-клиент и адаптивное выполнение ещё экспериментальные.

Apache DataFusion

#dataengineering #datafusion #ballista #distributedsql #python #queryengine

@data_engi