Agentic Engineer

⭐️Упавший Spark-job теперь можно «разморозить» в ноутбуке

Databricks добавила восстановление сессий серверных заданий. После сбоя система может открыть новый интерактивный ноутбук с Python-переменными и Spark-сессией в том состоянии, в котором завершился запуск.

Снимки автоматически создаются при ошибке, отмене, превышении времени или работе дольше 30 минут и хранятся семь дней. Это позволяет исследовать данные и причину сбоя без повторного запуска многочасового конвейера.

Пока функция в Beta и работает только для notebook-задач на serverless compute. Открытые файлы, сетевые соединения, данные от предыдущих задач и другое состояние процесса могут не восстановиться.

#databricks #apachespark #dataops #debugging #serverless #dataengineering

@data_engi

Google предложила делегировать задачи агентам через контракты

21 августа Google описала подход contract-first decomposition: оркестратор сначала разбивает цель на части с проверяемыми условиями выполнения и только потом распределяет их между агентами.

Дополняют схему ещё три правила:

➡️ выбирать модель с учётом цены и сложности шага;
➡️ передавать исполнителю минимум данных и прав;
➡️ останавливать цепочку и запрашивать человека, если поручение двусмысленно.

Для тебя вывод практический: описание подзадачи должно содержать входные данные, доступы, ожидаемый результат и способ его проверки. Иначе ошибка одного агента незаметно поедет дальше по всей цепочке.

Пруфы:
🔘разбор Google Cloud от 21 августа 2026 года
🔘исследование Google DeepMind

#aiagents #multiagent #agentarchitecture #orchestration #agentsecurity #llm

@data_engi

😎 Skills и MCP теперь можно упаковать в один переносимый плагин

6 августа AWS, Anysphere, GitHub, Microsoft, OpenAI и Vercel опубликовали стандарт Agent Plugins 1.0. Google присоединилась к проекту как основной мейнтейнер.

Плагин может содержать:

🔜 инструкции и сценарии агента в skills/;
🔜 конфигурацию MCP-серверов в mcp.json;
🔜 отдельные расширения для конкретных клиентов.

Идея простая: собираешь интеграцию один раз, а совместимые агенты загружают понятные им компоненты из одного пакета. Поддержка уже доступна в VS Code, Copilot CLI, Copilot SDK и приложении Copilot.

Важный нюанс: плагин может запускать локальный MCP-сервер как исполняемый файл. Поэтому относись к его установке как к запуску чужого кода — проверяй источник, команды, доступы и MCP-конфигурацию.

Пруфы:
🔘анонс GitHub от 12 августа 2026 года
🔘спецификация Agent Plugins 1.0

#aiagents #agentplugins #mcp #agentskills #opensource #security

@data_engi

Databricks теперь различает человека и агента с его правами

В Unity Catalog появились контекстные условия для ABAC-политик. Фильтры строк и маскирование колонок могут учитывать, какое OAuth-приложение отправило запрос и действует ли оно от имени пользователя.

Один и тот же человек сможет напрямую читать полные данные, но его AI-агент через зарегистрированное приложение получит только разрешённые строки и замаскированные поля.

Для инженеров это важный шаг от проверки «кто обращается» к проверке «кто, через что и зачем». Не придётся автоматически отдавать агенту все права пользователя. Функция пока находится в Beta.

#databricks #unitycatalog #abac #datagovernance #datasecurity #dataengineering

@data_engi

😶‍🌫️ В США экскаваторы начали работать без людей в кабине

Стартап Bedrock Robotics вывел полностью автономные экскаваторы на три коммерческие стройки в Техасе и Неваде — включая объект водоочистки.

Система устанавливается на обычную технику и сама копает, перемещает грунт и объезжает препятствия. Компания уже планирует перенести технологию на бульдозеры и самосвалы.

Строительная площадка гораздо менее предсказуема, чем завод. Если такие машины действительно будут стабильно работать в грязи, пыли и хаосе стройки, автономность впервые массово выйдет за пределы дорог и складов.

#robotics #constructiontech #autonomoussystems #physicalai

@data_engi

⭐️AWS Glue вышел из секунд в миллисекунды

21 августа AWS выпустила Glue 6.0 на базе Spark 4.1. Новый режим Real-Time Streaming обрабатывает stateless-потоки с задержкой в единицы миллисекунд — вместо привычных для Spark микропакетов.

Также появились декларативные конвейеры, Arrow-native Python UDF/UDTF и полная поддержка Iceberg v3. Стоимость вычислений снижена на 30% относительно прежних версий Glue.

Для инженеров это возможность выполнять простую фильтрацию, преобразование и маршрутизацию событий без отдельного Flink-кластера. Но режим пока рассчитан только на stateless-операции: сложные окна, соединения потоков и большое состояние остаются задачей других движков.

#awsglue #apachespark #streamprocessing #etl #apacheiceberg #dataengineering

@data_engi

🤨 Zapier включила MCP по умолчанию даже для Enterprise

Zapier MCP даёт агентам доступ к 9000+ приложениям и 40 000+ действиям. При этом, согласно документации от 18 августа, MCP включён по умолчанию для всех аккаунтов — включая Enterprise.

Любой пользователь подключённого аккаунта или рабочего пространства может создать собственный MCP-сервер и использовать свои либо общие подключения к приложениям. Права самих приложений сохраняются, но отдельные ограничения только для MCP пока задать нельзя: запрет приложения или действия применяется сразу ко всему Zapier.

Для тебя это значит, что MCP нужно учитывать при проверке доступов, даже если компания его специально не внедряла. Проверь пользователей, общие подключения, разрешённые действия и журналы вызовов. Отключение MCP на уровне рабочего пространства требует обращения к менеджеру Zapier.

▶️документация Zapier MCP

▶️список возможностей

#mcp #aiagents #agentsecurity #iam #zapier #security

@data_engi

Google вынесла управление coding-агентами в админку

20 августа Google добавила Antigravity в корпоративные подписки Gemini Enterprise и выпустила расширения для VS Code, Visual Studio, JetBrains и Zed.

Администраторы теперь могут централизованно:

🔘 ограничивать расходы по проектам;
🔘 распределять общий пул токенов между командами;
🔘 управлять доступом агента к браузеру и MCP-серверам;
🔘 требовать запуск в песочнице;
🔘 записывать промпты, ответы и метаданные в журнал аудита.

Интересный архитектурный сдвиг: права, бюджет и наблюдаемость coding-агентов постепенно переезжают из настроек отдельных IDE на уровень общей платформы. Но полное журналирование может захватить код, секреты и пользовательские данные — содержимое аудита тоже придётся отдельно контролировать.

#aiagents #codingagents #gemini #mcp #devsecops #finops

@data_engi

❄️ Snowflake материализует не SQL, а бизнес-метрики

В Snowflake появились материализации семантических представлений. Инженер указывает измерения и метрики, а оптимизатор автоматически подменяет подходящие запросы заранее рассчитанными агрегатами.

Один подробный срез может обслуживать запросы разной детализации: например, агрегат по клиенту и году — запрос только по клиенту. В тесте Snowflake четыре TPC-DS-запроса ускорились в 59–91 раз, а объём чтения сократился с 359 ГБ до 120 МБ.

Это ускоряет BI без копирования логики метрик в отдельные таблицы. Пока функция в preview; AVG, COUNT(DISTINCT) и другие неаддитивные метрики переагрегировать нельзя.


#snowflake #semanticlayer #materialization #queryoptimization #analytics #dataengineering

@data_engi

#dev #memes #ai #agentic

@data_engi

🤖 Uber и Zipline хотят довести доставку дронами до миллиона заказов в день

Компании планируют начать масштабный запуск в Далласе и Хьюстоне до конца 2026 года, а к 2029-му — выйти на показатель до 1 млн доставок в сутки. Время доставки должно сократиться примерно с 30 минут до 5–10.

Если план будет реализован, дроны станут не экспериментом отдельных магазинов, а частью крупной логистической платформы с массовым производством, управлением полётами и интеграцией в сервисы заказа еды.

#robotics #drones #autonomoussystems #lastmiledelivery

@data_engi

Появилась открытая обвязка для продовых AI-агентов

18 августа TrueFoundry открыла исходный код TrueForge — среды выполнения, которая берёт на себя цикл агента, MCP-инструменты, навыки, состояние сессий, сжатие контекста и подтверждение опасных действий.

Модели и MCP-серверы можно менять без переписывания агента. Код запускается во временной песочнице только при необходимости, а секреты остаются в основной среде. Локально TrueForge работает с SQLite, для нескольких реплик предусмотрены Postgres, Redis и Helm.

Для тебя это готовая основа, если не хочется заново собирать обвязку вокруг LLM и зависеть от одного поставщика. Но локальный режим не имеет авторизации — наружу его выставлять нельзя.

〰️〰️〰️〰️〰️〰️〰️〰️

▶️анонс TrueFoundry от 18 августа 2026 года

▶️репозиторий TrueForge

▶️статья на Хабр

#aiagents #opensource #mcp #agentarchitecture #llm #infrastructure

@data_engi

#ai #memes #agentic #llm

@data_engi

👀 Spark тормозил из-за миллионов временных объектов Python

После перехода обычных Python UDF на Arrow-сериализацию Spark столкнулся с регрессией на массивах. Причина оказалась в PyArrow:

⭐️ метод to_pylist() преобразовывал данные по одному элементу, создавая для каждого временные Scalar, обёртки и срезы.

На вложенных массивах этот путь был в 2,5–10 раз медленнее обходного преобразования через pandas. В Apache Arrow 25.0.1 добавили пакетное преобразование без миллионов промежуточных объектов.

Для тебя это повод обновить PyArrow на executor-узлах, если после обновления Spark замедлились Python UDF со строками и массивами.

#apachespark #apachearrow #pyarrow #python #dataengineering #performance

@data_engi

Китайский автопроизводитель собирается вывести роботов на биржу

Chery готовит IPO своей робототехнической «дочки» AiMOGA. Компания уже поставила более 3000 роботов, причём около 2000 из них отправились за границу — всего в 60 с лишним стран.

На 2027 год цель ещё амбициознее: 10 000 роботов. Пока это в основном сервисные и гуманоидные машины для магазинов, логистики и общественных служб.

Автопроизводители начинают экспортировать не только автомобили. Следующий китайский массовый товар вполне может ходить на двух ногах.

#robotics #humanoidrobots #physicalai #china

@data_engi

📜 Как древнейшую датированную печатную книгу вывезли из Китая в ящике за £130

11 мая 868 года китаец Ван Цзе заказал печать буддийской «Алмазной сутры» в память о родителях. Семь листов жёлтой бумаги отпечатали с деревянных досок и склеили в свиток длиной около пяти метров.

В конце указали точную дату и назначение: бесплатное распространение среди всех желающих. Благодаря этой записи свиток сегодня считается древнейшей полностью сохранившейся печатной книгой с достоверной датировкой.

Затем книга исчезла почти на тысячу лет.

В начале XI века её вместе с десятками тысяч рукописей, рисунков и тканей сложили в небольшую пещеру № 17 храмового комплекса Могао близ Дуньхуана. Вход заложили кирпичом и скрыли под штукатуркой. Зачем это сделали, точно неизвестно: исследователи спорят, была ли библиотека спрятана от войны или стала хранилищем вышедших из употребления священных текстов.

В июне 1900 года тайную комнату случайно обнаружил даосский монах Ван Юаньлу, присматривавший за заброшенными храмами. Внутри находилось, по разным оценкам, от 40 000 до 50 000 предметов на китайском, тибетском, санскрите, согдийском, уйгурском и других языках.

Ван сообщил чиновникам о находке, надеясь получить средства на восстановление пещер. Но государство не предложило ни денег, ни понятного плана хранения.

В 1907 году в Дуньхуан прибыл Марк Аурел Стейн — уроженец Венгрии, проводивший экспедицию для Британской Индии. После долгих переговоров Ван разрешил ему отобрать часть сокровищ.

Стейн получил рукописи, картины, ткани и печатные листы, заполнившие 24 ящика с документами и ещё пять — с произведениями искусства. Согласно его отчётам, вся партия обошлась в четыре серебряных слитка — примерно £130. Среди свитков лежала «Алмазная сутра» Ван Цзе.

Год спустя французский китаевед Поль Пеллио приобрёл ещё тысячи документов. Затем появились японская, российская и американская экспедиции. Пещерная библиотека разъехалась по Лондону, Парижу, Санкт-Петербургу, Пекину, Токио и Нью-Дели.

Оценка сделки до сих пор зависит от точки зрения. Британские учреждения называют её покупкой, многие китайские исследователи — колониальным расхищением. Современные историки добавляют важную деталь: Ван не просто продал непонятные бумаги, а пытался получить средства на спасение всего комплекса после равнодушия местных властей.

Сегодня международный Дуньхуанский проект собирает цифровые копии рассеянных документов в единой базе. Физически библиотеку разделили экспедиции — виртуально её снова пытаются замуровать в одной комнате.

Книга, созданная для бесплатной раздачи, стала главным сокровищем партии стоимостью £130. Видимо, просветление распространялось свободно — пока не появились расходы на доставку.

Пруфы:
🔘Британский музей об открытии пещеры и сделке со Стейном
🔘Международный Дуньхуанский проект об «Алмазной сутре»
🔘ЮНЕСКО о составе пещерной библиотеки
🔘академическое исследование роли Ван Юаньлу

#историякитая #дуньхуан #историякниги #шёлковыйпуть #культурноенаследие

@data_engi

🥸 OpenAI поставила frontier-RL на паузу из-за киберрисков

18 августа OpenAI сообщила, что будущая модель Astra может достичь критического уровня возможностей в кибербезопасности. Компания на две недели остановила RL-обучение последних моделей, а крупнейший запланированный запуск пока не возобновила.

Для моделей с инструментами добавили многоступенчатый мониторинг: классификаторы проверяют каждый сэмплированный токен, а отдельные системы анализируют действия, рассуждения и попытки обойти защиту. Это требует около 20% дополнительного inference compute.

Для тебя вывод практический: агент с доступом к коду и интернету — уже привилегированная нагрузка. Ему нужны песочница, сетевая изоляция, минимальные права, журналирование и автоматическая остановка. Расходы на мониторинг тоже придётся закладывать в инфраструктурный бюджет.

Пруф: разбор OpenAI от 18 августа 2026 года

#ai #llm #agentsecurity #cybersecurity #infrastructure #openai

@data_engi

😳 Больше памяти может сделать AI-агента хуже

IBM Research проверила агентную память на восьми моделях. Агентам давали не старые диалоги, а правила, автоматически извлечённые из успешных и провальных запусков.

Результат оказался неочевидным:

— сильные модели лучше работали со всем набором правил;
— более слабые путались в большом объёме памяти, но заметно улучшались при выборочной подаче нужных правил;
— модели, уже достигшие потолка на тесте, не получили пользы вообще.

У gpt-oss-120b выборочная память повысила долю выполненных задач на 16,1 процентного пункта при росте расхода токенов всего на 5%. Передача всей памяти дала меньший результат и стоила примерно на 50% дороже.

Для тебя вывод простой: память агента — не архив «сохраняем всё», а настраиваемый механизм поиска. Сравнивай хотя бы три режима: без памяти, со всей памятью и с выборкой по задаче. Пока результаты подтверждены только на AppWorld, поэтому на своих сценариях нужны отдельные тесты.

Пруфы:
🔘разбор IBM Research
🔘arxiv

#aiagents #agentmemory #llm #contextengineering #rag #aievals

@data_engi