wpipe 是一个纯 Python 可嵌入的编排库,目标是让数据管道的开发回到「编辑—运行—调试」的快速循环,而不必为验证业务逻辑先搭起一整套云原生基础设施。
它针对的是重型编排引擎的隐性成本:本地起容器、等 Scheduler 守护进程采集 DAG、在开发机上扛整套云原生栈。wpipe 不需要 Docker、Redis 或 Postgres 就能在本地跑通管道,生产环境则保持 Docker-Ready。
因为是标准 Python 代码,VS Code 或 PyCharm 的断点可以直接生效,不必靠 print 调试或等 Web 面板刷新。每个步骤的生命周期清晰解耦,依赖容易被 mock,可以用 pytest 像测试普通 Python 模块一样为管道写单元测试。
状态方面,wpipe 通过 SQLite WAL 模式持久化自动遥测与检查点,无需配置外部数据库。相比重型编排器动辄数 GB 内存和 CPU 开销,wpipe 的资源占用在 MB 级别;本地安装只需 pip install wpipe,反馈循环为直接执行、无需等待轮询。
用法上,管道由 Pipeline、Step、Context 组成:自定义 Step 继承基类并实现 run 方法,通过 ctx.set / ctx.get 在步骤间传递数据,再用 add_step 组装并 execute 执行,最后读取 result.status 与上下文中的处理结果。
重型编排器在分布式大规模调度中仍有其位置,wpipe 更适合希望无摩擦地构建、测试和部署可靠管道的软件与数据工程师。
