Agentic Engineer

Orchestrate LLMs and Agents with Apache Airflow®

Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.

Breaking news

В CPython предлагают добавить Rust: https://discuss.python.org/t/pre-pep-rust-for-cpython/104906

Пример кода: https://github.com/emmatyping/cpython/pull/13/files

#[unsafe(no_mangle)]
pub unsafe extern "C" fn b64encode(
    _module: *mut PyObject,
    args: *mut *mut PyObject,
    nargs: Py_ssize_t,
) -> *mut PyObject {
    if nargs != 1 {
        unsafe {
            PyErr_SetString(
                PyExc_TypeError,
                c"b64encode() takes exactly one argument".as_ptr(),
            );
        }
        return ptr::null_mut();
    }

    let source = unsafe { *args };
    let buffer = match unsafe { BorrowedBuffer::from_object(source) } {
        Ok(buf) => buf,
        Err(_) => return ptr::null_mut(),
    };

    let view_len = buffer.len();
    if view_len < 0 {
        unsafe {
            PyErr_SetString(
                PyExc_TypeError,
                c"b64encode() argument has negative length".as_ptr(),
            );
        }
        return ptr::null_mut();
    }
    let input_len = view_len as usize;
    let input = unsafe { slice::from_raw_parts(buffer.as_ptr(), input_len) };

    let Some(output_len) = encoded_output_len(input_len) else {
        unsafe {
            PyErr_NoMemory();
        }
        return ptr::null_mut();
    };

    if output_len > isize::MAX as usize {
        unsafe {
            PyErr_NoMemory();
        }
        return ptr::null_mut();
    }

    let result = unsafe {
        PyBytes_FromStringAndSize(ptr::null(), output_len as Py_ssize_t)
    };
    if result.is_null() {
        return ptr::null_mut();
    }

    let dest_ptr = unsafe { PyBytes_AsString(result) };
    if dest_ptr.is_null() {
        unsafe {
            Py_DecRef(result);
        }
        return ptr::null_mut();
    }
    let dest = unsafe { slice::from_raw_parts_mut(dest_ptr.cast::<u8>(), output_len) };

    let written = encode_into(input, dest);
    debug_assert_eq!(written, output_len);
    result
}

Все подробности будут в @cpython_notes

Обсуждение: что думаете?

| Поддержать | YouTube | GitHub | Чат |

📕 Dagster выкатил Scaling Data Teams — практическое руководство по масштабированию дата-команд

В этой книге собраны реальные сценарии того, как дата-команды растут: от одного специалиста до полноценной платформы с десятками инженеров.

〰️〰️〰️〰️〰️〰️〰️〰️

🙂 Почему стоит прочитать

Помогает ответить на вопрос: «Как построить такую платформу, чтобы она масштабировалась не хаотично, а с ясностью, надёжностью и уверенностью?»

Не теория, а ориентир: описаны этапы роста — 1, 5, 10, 20 человек.

Разбирает технологический стек и архитектуру таких инструментов как dbt, dlt, Sling, DuckDB и др.

〰️〰️〰️〰️〰️〰️〰️〰️

📌 Ключевые моменты

1️⃣ Этап «1 человек» — как действовать, пока платформа почти не сформирована: выбирать инструменты, делать архитектурные решения, которые не убьют рост.

2️⃣ Этап «5-10 человек» — важность качества, тестирования, рабочих процессов и модульного дизайна.

3️⃣ Этап «20 человек» и больше — как платформа становится инфраструктурой: управление, кросс-командная работа, строгие guardrails.

4️⃣ Архитектурный обзор: современный стек данных, оркестрация, загрузка, трансформация, аналитика.

〰️〰️〰️〰️〰️〰️〰️〰️

✔️ Что можно применить прямо сейчас

⏩ Посмотри на свою текущую команду и платформу: на каком ты этапе?

⏩ Проверь, не делаешь ли архитектурные решения «как для 1 человека», в то время как фактически рост уже требует другого подхода.

⏩ Внедри практики тестирования и процессов, которые подходят не только сейчас, но и под будущий рост.

⏩ Обрати внимание: инструменты могут быть важны, но правильное время для их внедрения и синхронизация с ростом команды — ключ к успеху.

〰️〰️〰️〰️〰️〰️〰️〰️

✏️ Для кого эта книга особенно полезна

➡️ Руководителям дата-инженерных или платформенных команд, которые думают о росте.

➡️ Платформенным дата-инженерам и технологическим лидерам, которые хотят улучшить процессы и архитектуру.

➡️ Организациям, которые понимают — просто больше данных или больше инструментов не решат проблему, пока не построены процессы и культура.

#book #dataengineering #data #dataengineer #engineer #данные #книга #инженерияданных #датаинженер #инженер

Gemini 3.0 ломает интернет — и делает «теорию мёртвого интернета» не такой уж теорией 🤯

Сейчас по X летает формулировка:

Gemini 3.0 is breaking the internet. Users reported that this model is from another world. 10 unbelievable examples.

Теория мёртвого интернета говорит, что бóльшая часть контента онлайн уже давно создаётся не людьми, а ботами, нейросетями и фермами трафика. Раньше это звучало как полуконспирология.

Но с моделями уровня Gemini 3.0 / GPT-5.x / Claude 4.x мы реально подходим к точке, где:

🔘посты, комменты, обзоры и даже «личные истории» можно генерить пачками;

🔘инфополе забивается не тем, что важно, а тем, что легко сгенерировать;

🔘человеку всё сложнее отличить живой опыт от очень качественной симуляции.


Получается парадокс:
чем мощнее становятся модели, тем меньше "живого интернета" у нас остаётся. Лента ощущается насыщеннее, но живых голосов там всё меньше.

И на этом фоне вопрос уже не «какой ИИ лучше», а как не превратиться в статиста в мире, где львиная доля контента — синтетика.

❓Как тебе такое: через пару лет большинство того, что ты читаешь в ленте, будет написано моделями уровня Gemini 3.0 — норм или крипово?

#deadInternettheory #AI #LLM #теориямёртвогоинтернета #ИИ #БЯМ

Доклады с Airflow Summit 2025

Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам:

— Airflow at OpenAI
— Benchmarking the Performance of Dynamically Generated DAGs
— Airflow That Remembers: The Dag Versioning Era is here!
— DAGLint: Elevating Airflow DAG Quality Through Automated Linting
— Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale
— Deadline Alerts in Airflow 3.1
— Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces
— Introducing Apache Airflow® 3 – The Next Evolution in Orchestration
— Security made us do it: Airflow’s new Task Execution Architecture
— Unlocking Event-Driven Scheduling in Airflow 3

Полный список видео смотрите на Ютуб канале — Apache Airflow

Статья Data Warehouse, Data Lake, Data Lakehouse, Data Mesh: What They Are and How They Differ

⏩Склад данных (DWH) — про централизованную чистую аналитику и жёсткие схемы

⏩Озеро (Data Lake) — про гибкость и дешёвое хранение сырья

⏩Лейкхаус (DLH) — пытается объединить их на объектном хранилище с ACID

⏩Меш (DataMesh) — не технология, а оргмодель с доменным владением данными

Выбор зависит от типа данных, требований к скорости/качества и зрелости команды.

〰️〰️〰️〰️〰️〰️〰️〰️

🌙 Как отличаются подходы 🌙

1️⃣ Data Warehouse (DWH) — "чистая кухня" для BI
Централизованное, чтение-оптимизированное хранилище под OLAP‑аналитику и отчёты. Схема фиксируется на записи (schema‑on‑write), сильные гарантии качества и согласованности (ACID), быстрые агрегации. Лучше всего отвечает на "известные вопросы про известные данные".
✏️ Минусы: жёсткость к изменениям, дороговизна при росте, слабая работа с полуструктурой.

2️⃣ Data Lake — "сырьевой парк" для экспериментов
Складывает данные "как есть" (schema‑on‑read) — от логов и JSON до медиа, дёшево масштабируется на объектных сторах. Идеально для исследований и ML.
✏️ Риск: без управления качество деградирует в "болото", запросы часто медленнее, транзакционных гарантий нет.

3️⃣ Data Lakehouse — "самолёт‑гибрид"
Один слой поверх дешёвого объектного стора + "табличный формат" (Delta/Hudi/Iceberg), который приносит ACID, снапшоты, эволюцию схем и ускорение запросов. Цель — гибкость озера c надёжностью склада.
✏️ Ограничения: зрелость стеков, сложность внедрения, иногда уступает специализированному DWH по перформансу.

4️⃣ Data Mesh — "микросервисы для данных"
Это не новый стор, а операционная модель: доменные команды владеют данными как продуктами, есть самосервисная платформа и федеративная (программируемая) дата‑гавернанс.
✏️ Хорош в больших организациях с автономными командами; требует культуры и инвестиций в платформу.

〰️〰️〰️〰️〰️〰️〰️〰️

❓ Когда что выбирать — ориентиры

❗️ У тебя отчётность и стабильные метрики, много SQL‑пользователей, высокие требования к "единой правде": начни с DWH (или с легковесной его версии в облаке).

❗️ Много полуструктуры/неструктуры, активный ML/DS, дешёвое "историческое" хранение сырья критично: ставь Data Lake, но сразу добавляй управление качеством и метаданными, чтобы не получить "болото".

❗️ Нужно и то, и другое, а два стека — боль: бери Lakehouse на открытом табличном формате (Delta/Iceberg/Hudi) — один слой, ACID, time‑travel, апгрейд до "медальонов".

❗️ У тебя много доменов и центральная дата‑команда — узкое горло: добавляй Data Mesh как орг‑надстройку (поверх DWH/Lake/Lakehouse), но не недооценивай стоимость самосервиса и федеративной политики.

👌 Пример из жизни продукта

Представь маркетплейс:
🟡 BI‑команда хочет "вчера к утру" отчёты по GMV/конверсии 🔜 витрины/март в DWH.
🟡 DS‑команда обучает рекомендашки на кликах/поисковых логах/изображениях 🔜 сырые/серебряные слои в Lakehouse на Iceberg/Delta.
🟡 Бизнес растёт, появляются автономные направления (Поиск, Логистика, Финансы) 🔜 они публикуют доменные "данные‑как‑продукт" (контракты, версии, SLO), а платформа обеспечивает каталог, lineage, права и качество ➡️ это уже Data Mesh поверх твоего Lakehouse.

⚡️ Что важно унести из статьи

Автор трезво разводит технологии и организацию:
🟢Lakehouse решает техническую боль разрыва "озеро↔склад"
🟢Mesh — организационную боль централизованных "бутылочных горлышек".

Серебряных пуль нет: стоимость владения и зрелость команды решают не меньше, чем выбор логотипа на диаграмме. Рекомендую прочитать оригинал.

#DE #DWH #DataWareHouse #DL #DataLake #DLH #LakeHouse #Mesh #DataMesh

🤖 Walker S2: когда демки превращаются в поставки

UBTECH показала массовую отгрузку человекоподобных Walker S2. На видео — строй роботов в цеху: синхронный марш. Снято так чисто, что интернет спорит, CGI это или нет — но именно такая синхронность и отличает хорошо отлаженное производство.

Почему это важно?
🔘Вместо шоукейсов — операционная готовность: батарейная логистика, док‑станции, единый такт.
🔘Заявка на первую массовую поставку гуманоидов для реальных линий и складов.

Как тебе такой марш будущего?

#robotics #AI #UBTECH #WalkerS2 #humanoids #automation #industry40 #роботы #гуманоиды #ИИ

🖼️ Выкатили Airflow 3.1.3

TL;DR: 3.1.3 — это security+stability апдейт: безопаснее API‑сервер, корректная работа Connections/Variables в контекстах сервера, рывок по скорости UI/API и пачка важных фиксов планировщика и миграций. Обновляться стоит.

Главное в 3.1.3:

▶️Security: удалён небезопасный endpoint /api/v2/dagReports, который исполнял пользовательский код в процессе API‑сервера. Рекомендация — использовать airflow dags report.

▶️Секреты и контексты: исправлен доступ к Connections/Variables в контекстах API‑сервера (плагины, лог‑хендлеры) за счёт явного разграничения цепочек секретов для client/server/fallback. Плагины и хуки теперь корректно работают без компромиссов изоляции воркеров.

▶️Производительность UI/API: заметно ускорены страницы (включая список task instances и “next run assets”), исправлен экспорт логов.

▶️Надёжность планировщика: фикс использования неверного max_active_runs из кеша DAG; корректнее обработка триггер‑правил.

▶️Миграции БД и XCom: устранены падения миграций и апгрейда при NaN в XCom.

▶️Поведение воркеров: healthcheck теперь уважает --worker-timeout.

▶️HITL & UX‑мелочи: валидация параметров для HITL‑тасков, фикс logout, рабочая кнопка “Test connection”, resize заметок в UI, обновления переводов.

#airflow #release #de #data

Субагенты и мультиагенты, в чём разница.

Субагенты - это внутренние помощники одной модели. Мультиагенты - это полноценная экосистема отдельных моделей, взаимодействующих друг с другом.

Субагенты - это когда одна большая модель разбивает работу на своих "внутренних специалистов". Как мини-команда в голове одного ИИ: каждый субагент отвечает за кусок задачи, а итог собирает сама модель.

Мультиагенты - это уже реальная команда из разных моделей/агентов, у каждого свои цели, навыки и автономия. Они общаются, координируются и делают то, что одной модели сложно: планирование, распределение ролей, параллельные процессы.

Проще:
Субагенты 🔜 внутренние роли одной модели.
Мультиагенты 🔜 самостоятельные игроки, работающие вместе.

#agents #subagents #multiagents #AI #LLM #агенты #субагенты #мультиагенты #ИИ #БЯМ

Сразу видно, что компания разбирается в IT-разработке и продуктовой аналитике.

Для уверенного прямохождения чего-то не хватает роботу IDOL 🙃

Шагал, как-будто перебрал тормозной жидкости...

#robot #humanod #humanoids #robotics #robofails #idol #роботы #робототехника #гуманоид #гуманоиды

#dev #team #meme

🖼️ Релиз Apache Airflow CTL 0.1.0

airflowctl - новый официальный CLI, который разговаривает с Airflow Public API и даёт удобные команды для повседневных задач:
🔘триггерить DAG-и
🔘листать и проверять DagRun-ы
🔘паузить/анпаузить
🔘управлять connections/variables

Всё это удалённо, из CI/CD или локально, без SSH на кластеры.

Зачем это нужно:
🔘централизованный доступ к продам и стейджам через API
🔘единый инструмент для SRE/Platfоrm/DE‑команд и пайплайнов
🔘безопаснее: используем API‑токен, который хранится в keyring.

Пример - поставить и дернуть DAG удалённо:

# установка
pip install apache-airflow-ctl

# логин (через токен; API должен быть включён)
export AIRFLOW_CLI_TOKEN=<api_token>
airflowctl auth login --api-url https://airflow.example.com --env prod

# посмотреть доступные DAG-и
airflowctl dags list -o table

# триггернуть DAG с конфигом и заметкой
airflowctl dags trigger \
  --dag-id example_etl \
  --conf '{"country":"RU"}' \
  --note "triggered from airflowctl"

# проверить последние запуски
airflowctl dagrun list --dag-id example_etl --limit 5 -o table

Подробнее в доке.


#airflow #release #airflowctl

#dev #meme #ai #llm #agentic #ии #бям #агенты

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarks

Прекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.
И как Pub/Sub решение, и как Redis решение, и Data Lake решение.

Циферки, метрики, замеры внутри, все как вы любите 😃


P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.

Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/

@ohmydataengineer

#dev #meme

Я, конечно, не пробовал эту штуку, но почему-то кажется, что она работает. Возможно, потому что уже наловчились проходить собесы другими подобными инструментами. И вот как теперь быть нанимающей стороне?

Я вижу 3 варианта:
1. Нанимать на срочный договор на полгода и лишь затем брать в штат. Далеко не все кандидаты на такое пойдут, особенно высоких грейдов.
2. Организовать "чистые комнаты" (ловите идею для стартапа!) — на базе Почты России, СДЭКа и т.п. сделать отдельное помещение с компом. Т.к. эти организации есть примерно в каждом Мухосранске, можно не терять кандидатов.
3. Личное знакомство. Конференции, бары и прочий нетворкинг всё-таки победит. Онтико сможет поднять цены на билеты и организовать стенд "Ищу работу".

Честно говоря, ни один из них мне не нравится, но реагировать как-то надо 🤷‍♂️

А какой вариант вас бы устроил? 🤝 - №1, 🤔 - № 2, 👌 - № 3.

https://www.interviewcoder.co/ #dev

🍺 brew не хочет обновлять codex?
🔧 Написал скрипт, который берёт свежак из репозитория.
⬇️ Пользуйся:

#!/usr/bin/env bash
set -e

echo "🔍 Detecting system architecture..."

ARCH=$(uname -m)
OS=$(uname -s)
VERSION=$(curl -s https://api.github.com/repos/openai/codex/releases/latest | grep -o '"tag_name": *"[^"]*"' | cut -d'"' -f4)
BASE_URL="https://github.com/openai/codex/releases/download/${VERSION}"

EXT=".tar.gz"

# Определяем правильный бинарь
if [[ "$OS" == "Darwin" ]]; then
  if [[ "$ARCH" == "arm64" ]]; then
    FILE="codex-aarch64-apple-darwin"
  else
    FILE="codex-responses-api-proxy-x86_64-apple-darwin"
  fi
elif [[ "$OS" == "Linux" ]]; then
  if [[ "$ARCH" == "aarch64" ]]; then
    FILE="codex-aarch64-unknown-linux-musl"
  else
    FILE="codex-x86_64-unknown-linux-musl"
  fi
else
  echo "❌ Unsupported OS: $OS"
  exit 1
fi

DEST="/usr/local/bin/codex"
if [[ "$OS" == "Darwin" && -d "/opt/homebrew/bin" ]]; then
  DEST="/opt/homebrew/bin/codex"
fi

echo "⬇️ Downloading ${FILE}${EXT} from Codex ${VERSION}..."
curl -fL -o codex.tmp "${BASE_URL}/${FILE}${EXT}" || {
  echo "❌ Download failed — release or file not found at ${BASE_URL}/${FILE}${EXT}"
  exit 1
}

mv codex.tmp codex.tar.gz
mkdir -p codex_unpack
tar -xzf codex.tar.gz -C codex_unpack || {
  echo "⚠️  tar extraction failed, maybe it's pure gzip. Trying gunzip..."
  gunzip -c codex.tar.gz > codex_unpack/codex
}

# Ищем бинарь "codex" или файл, начинающийся с codex-
BIN_PATH=$(find codex_unpack -type f \( -name "codex" -o -name "codex-*" \) | head -n 1)
if [[ -z "$BIN_PATH" ]]; then
  echo "❌ Could not find extracted codex binary after unpacking."
  echo "   Contents of archive:"
  ls -R codex_unpack
  exit 1
fi

echo "⚙️ Installing to ${DEST}..."
sudo mv "$BIN_PATH" "$DEST"
sudo chmod +x "$DEST"
rm -rf codex_unpack codex.tar.gz

echo "✅ Codex updated successfully!"
"$DEST" --version

#dev #meme #script #Gerodot #разработка #мем #скрипт #Геродот

🤖 XPeng показала IRON - самый человечный робот года

На AI Day в Гуанчжоу IRON вышел на сцену, прошёл "кошачьим шагом" и жестами как человек. Зрители решили, что это костюм - поэтому Хэ Сяопэн прямо на сцене "распаковал" робота, показав skелет и "мышцы".

Что интересно:
⏩1:1 габариты человека: 178 см, 70 кг
⏩22 DOF в каждой руке, до 82 DOF по телу
⏩Три чипа Turing, до 3 000 TOPS (по данным XPeng)
⏩Полноразмерная мягкая "кожа" и бионные "мышцы"
⏩Впервые для класса - твердотельная батарея
⏩Цель - коммерция и масштабирование в 2026

Применение: витрины/гиды в ритейле и промышленные инспекции (партнёрство с China Baowu уже в работе).

📹 Смотри на видео как доказывали, что это не человек.

#XPeng #IRON #роботы #гуманоид #AI #humanoid #robotics