单节点数据工程：DuckDB、DataFusion、Polars、LakeSail

数据工程迎来单节点复兴。借助 Apache Arrow 列式内存格式与向量化执行引擎，现代工具能在单台机器上处理百 GB 甚至 TB 级数据，无需分布式 JVM 集群。

- DuckDB：内嵌式 SQL 分析引擎，支持向量化执行与超内存溢出（out-of-core），零配置运行。
- Apache Arrow DataFusion：Rust 编写的模块化查询引擎框架，可构建自定义数据库或数据平台。
- Polars：Rust 原生 DataFrame 库，提供惰性查询优化与稳定流式执行引擎，支持超内存数据集。
- LakeSail：基于 DataFusion 的零 JVM Spark 替代方案，通过 Spark Connect 协议原生运行 PySpark 管线。

原文链接

#开发者 #工具

📢 频道：@DevToolboxHub