TGViewer
DataEng DataEng @dataeng · 4.39K subscribers
Post #653 3.49K
Как я чищу метаданные Apache Airflow 3.x

В блоге Apache Airflow есть скрипт для периодической чистки метаданных в БД Apache Airflow. Но начиная с Airflow 3.0 невозможно обращаться к БД напрямую (через модели SQLAlchemy), в связи с этим скрипт не работает. Даже вызов shell команды airflow db clean через BashOperator выдаст ошибку по типу:

Could not parse SQLAlchemy URL from string 'airflow-db-not-allowed:///': source="airflow.task.hooks.airflow.providers.standard.hooks.subprocess.SubprocessHook"


RuntimeError: Direct database access via the ORM is not allowed in Airflow 3.0


Как решить? Я нашел выход запуска через старый добрый Cron:

0 0 * * * /home/airflow/.airflow/bin/airflow db clean --clean-before-timestamp "$(date -d '7 days ago' +'%Y-%m-%d %H:%M:%S')" --skip-archive -y


В полночь команда запускается и чистит все данные , оставляя только последние 7 дней. Но это работает на моём личном self-hosted Airflow, как быть с MWAA я пока не знаю, т.к. не обновлялся и не знаю как поведёт себя DAG.
Amazon Aurora PostgreSQL database cleanup on an Amazon MWAA environment - Amazon Managed Workflows for Apache Airflow The following sample code periodically clears out entries from the dedicated Aurora PostgreSQL database for your Amazon Managed Workflows for Apache Airflow environment.
  • 👍 5
  • 🔥 1
More from @dataeng
  1. Aug 23, 2026Официальная документация по Python теперь доступна на русском языке: https://blog.python.o…
  2. Jul 20, 2026PostgreSQL 18 изнутри Postgres Pro выпустили новую версию книги про устройство PostgreSQL:…
  3. Jul 16, 2026На канале Елизаветы Осетинской вышло интересное интервью с создателем ClickHouse Алексеем…
  4. Apr 30, 2026PostgreSQL 16: Оптимизация запросов 🖥 Вчера случайно заметил, что на Postgres Pro появила…
  5. Apr 29, 2026Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения…
  6. Apr 29, 2026Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →