通过HTTP集成Apache Airflow 3与.NET 10,无需用C#重写DAG。服务端保持Airflow负责调度与执行,.NET仅通过REST API/v2触发DAG Run、认证JWT并轮询状态。指南覆盖端到端流程:生成可追踪的dag_run_id、正确序列化config、复用令牌、处理401后自动续期、设置超时与取消传播。
预备环境需.NET 10 SDK、Docker Compose 2.14+、至少4GB内存。仓库提供Airflow 3.3.0、PostgreSQL 16及示例DAG。使用LocalExecutor以简化测试。
认证:POST /auth/token获取JWT,之后通过Authorization: Bearer发送。客户端读取exp避免频繁刷新,并用SemaphoreSlim防止并发续期。
触发:POST /api/v2/dags/{dag_id}/dagRuns,必需字段dag_run_id、conf、logical_date(可null)。响应返回DAG Run对象,state初始为queued。
监控:GET /api/v2/dags/{dag_id}/dagRuns/{dag_run_id},轮询间隔5-10秒,直到state为success、failed或canceled。使用CancellationTokenSource设置总超时(如10分钟)。
关键实践:dag_run_id应包含业务键以确保幂等性;conf只传小引用(ID、URI),不传密文或大负载;失败时区分401(续期)、403(权限不足)等,仅GET允许指数退避重试。
完整代码示例(含Docker compose、客户端实现、Minimal API)见仓库BlogSamples/Orchestration/Airflow。
#开发者 #工具 #ApacheAirflow #dotnet10 #CSharp #DAG #JWT #DevOps #API
@DevToolboxHub
