Нашел интересный реп от Astronomer с набором тасков для работы с большими языковыми моделями — airflow-ai-sdk.
Пакет предлагает набор декораторов:
— LLM tasks with @task.llm: Define tasks that call language models to process text
— Agent tasks with @task.agent: Orchestrate multi-step AI reasoning with custom tools
—Branching with @task.llm_branch: Change DAG control flow based on LLM output
— Embedding tasks with @task.embed: Create vector embeddings from text
Поддерживает работу с OpenAI, Anthropic, Gemini и другими через пакет pydantic-ai. С новым механизмом Human-in-the-Loop в Airflow 3.1 стало ещё удобнее контролировать процесс с помощью человека. Имхо, Airflow неплохо вписывается в эру ИИ мульти-агентов в качестве надёжного оркестратора.
