TGViewer
Agentic Engineer Agentic Engineer @data_engi · 686 subscribers
Post #1280 156
🖼️ Airflow Serverless научился выполнять Python и Bash сам

Amazon MWAA Serverless теперь поддерживает PythonOperator и BashOperator. Пользовательские функции, shell-скрипты и зависимости загружаются пакетом в S3, а сервис выполняет их в изолированной среде и фиксирует версию кода для повторяемых запусков.

Для инженеров это убирает необходимость оборачивать преобразования и проверки качества в Lambda или ECS. Но привычные Python-DAG придётся перевести в YAML, размер пакета ограничен 250 МБ, а доступ в интернет по умолчанию закрыт.

Источник: AWS — технический разбор от 25 августа 2026 года

#amazonmwaa #apacheairflow #serverless #dataengineering #etl #dataquality

@data_engi
Amazon PythonOperator and BashOperator Now Available on Amazon Managed Workflows for Apache Airflow (Amazon MWAA) Serverless | Amazon… You can now use PythonOperator and BashOperator to run custom Python functions and shell scripts directly in the Amazon MWAA Serverless runtime, without provisioning additional infrastructure. This post walks through building a serverless pipeline that converts…
More from @data_engi
  1. Oct 3, 2026Agentic Engineer pinned a photo
  2. Oct 3, 2026Давно хотел сделать удобную управляемую солнечную систему с картиной текущего положения пл…
  3. Oct 3, 2026Видеопродакшн в стиле 3blue1brown с Gemini 4 #ml #courses #coolstorybob Давно чесались рук…
  4. Oct 3, 2026Правильный ответ скрыл неправильный процесс в 92% запусков агента 😱 Исследователи IBM про…
  5. Oct 3, 2026Kafka может перераспределять партиции без остановки всей группы 😙 1 октября AWS подтверди…
  6. Oct 3, 2026@if_memes #meme #memes #mem #мем #мемы
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →