Agentic Engineer

Китай начал выдавать AI-агентам цифровые паспорта

Китай выпустил семь национальных стандартов для взаимодействия AI-агентов. Они описывают общую архитектуру, уникальные идентификаторы, управление цифровой личностью, поиск агентов, обмен сообщениями и вызов инструментов.

Первые две тысячи агентов уже получили идентификаторы, по которым можно проверить, кто их создал и какие действия им разрешены.

Для инженеров это интересный поворот: взаимодействие агентов начинают строить не только вокруг MCP и A2A, но и вокруг полноценной инфраструктуры доверия — идентификации, авторизации и трассируемости.

Пруф — Государственное управление КНР по регулированию рынка

#ai #aiagents #agenticai #a2a #identity #infrastructure #china

@data_engi

Для AI-агентов появился поисковик инструментов

GitHub запустил Agent Finder: агенту больше не обязательно заранее подключать все MCP-серверы, скиллы и другие инструменты. Он описывает текущую задачу, получает ранжированный список подходящих возможностей и загружает только нужные.

В основе лежит открытая спецификация Agentic Resource Discovery — ARD. По сути, это поисковый слой над MCP-серверами, API, агентами и скиллами.

Для инженеров идея важная: вместо огромного статического набора тулов и раздутого контекста можно построить корпоративный каталог, из которого агент динамически выбирает возможности под конкретную задачу.

#ai #agents #mcp #ard #agenticai #llm #devtools

@data_engi

GitHub разрешил централизованно блокировать MCP-серверы

С 6 августа GitHub Copilot поддерживает корпоративные списки разрешённых и запрещённых MCP-серверов.

Ты можешь задать правила через copilot/managed-settings.json: проверка работает по URL удалённого сервера или точной команде запуска локального. Политики работают по принципу fail closed — сомнительная конфигурация блокируется.

Для инженеров это важный шаг: MCP-инструменты наконец можно внедрять в компании не на честном слове, а с едиными правилами для Copilot CLI, VS Code и приложения Copilot.

Пруф — GitHub Changelog

#ai #mcp #githubcopilot #agenticai #security #devtools

@data_engi

Spark может пережить смерть executor без пересчёта shuffle

Обычно shuffle-данные лежат на локальных дисках executor-узлов. Если Spot-инстанс исчезает, Spark теряет эти блоки и вынужден заново выполнять предыдущие стадии.

Apache Celeborn выносит shuffle в отдельный общий кластер. Executors отправляют туда блоки заранее, поэтому вычислительные узлы можно свободно перезапускать и масштабировать, а при включённой репликации потеря узла не уничтожает промежуточные данные.

Для тяжёлых Spark-задач это позволяет шире использовать дешёвые Spot-инстансы и не держать простаивающие узлы только ради сохранения shuffle. Цена — отдельный stateful-сервис, которому нужны репликация, мониторинг и защита данных.

#apachespark #apacheceleborn #shuffle #dataengineering #distributedcomputing #infrastructure @data_engi

ClickHouse научился прекращать GROUP BY раньше времени

В ClickHouse 26.7 оптимизировали запросы вида:

SELECT
...
GROUP BY ...
ORDER BY ...
LIMIT ...

Если группировка и сортировка совпадают с началом ключа сортировки таблицы, движок обрабатывает группы по порядку и останавливает чтение сразу после получения нужного количества результатов.

В тесте запрос к 600 млн строк ускорился с 2,8 секунды до 9 миллисекунд — в 313 раз. Пиковое потребление памяти сократилось с 17,3 ГБ до 30 МБ.

Для тебя вывод простой: правильно выбранный ORDER BY таблицы теперь может радикально ускорить не только фильтрацию, но и Top-N-агрегации.

#clickhouse #olap #dataengineering #queryoptimization #database #performance

@data_engi

Alibaba может начать брать деньги за коммерческое использование открытой модели Qwen

Alibaba планирует требовать от крупных пользователей следующей версии Qwen долю выручки, которую они получат благодаря модели. Похожую схему уже использует китайская Moonshot для Kimi K3: коммерческим сервисам с выручкой свыше $20 млн может потребоваться отдельное соглашение.

Открытые веса больше не означают полностью бесплатное использование. Китайские разработчики формируют модель «бесплатно для запуска, платно за масштаб и коммерцию».

#artificialintelligence #llm #agentic #opensource #ai

@data_engi

🤖 Как плохая сделка спасла яйцо Фаберже от переплавки

В 1887 году Александр III заплатил фирме Фаберже 2160 рублей за пасхальный подарок супруге Марии Фёдоровне.

Мастер Август Хольмстрём изготовил золотое яйцо высотой всего 8,2 сантиметра. Оно стояло на ножках в форме львиных лап, было украшено сапфирами и бриллиантами, а внутри скрывало дамские часы Vacheron Constantin. Позднее изделие назовут Третьим императорским яйцом.

После революции подарок перестал быть семейной драгоценностью. В сентябре 1917 года его перевезли из Аничкова дворца в Оружейную палату. В советских описях 1922 и 1924 годов оно ещё значилось как золотое яйцо с часами, предназначенное к продаже. Затем след оборвался.

Следующая достоверная запись появилась лишь 7 марта 1964 года. Аукционный дом Parke-Bernet продавал в Нью-Йорке имущество коллекционерши Рены Кларк. Яйцо выставили за $2450, но в каталоге не упомянули ни Фаберже, ни Романовых: всего лишь «золотые часы в футляре яйцевидной формы».

Покупатель тоже не понял, что приобрёл.

Десятилетия спустя вещь очутилась на рынке старых вещей на Среднем Западе США. Торговец металлическим ломом заплатил за неё около $14 000 — столько, по его расчётам, должны были стоить золото и камни. Он намеревался быстро перепродать украшение на переплавку.

Но с оценкой он промахнулся. Покупатели считали, что золота в изделии недостаточно, и предлагали меньше затраченной суммы. Торговец отказался фиксировать убыток, поэтому яйцо несколько лет простояло в его кухонном шкафу. На корпусе остались царапины от проверки металла.

Тем временем в 2011 году исследователи Анна и Винсент Палмейды нашли фотографию аукционного лота 1964 года и сопоставили её со снимком императорской выставки 1902-го.

В 2012 году владелец набрал в поисковике два слова, которые мог прочитать на находке: «яйцо» и «Vacheron Constantin». Так он вышел на статью о пропавшей драгоценности и отправил фотографии специалисту фирмы Wartski Кирану Маккарти.

Маккарти приехал в США и подтвердил подлинность. Wartski организовала продажу частному коллекционеру за нераскрытую сумму, а в апреле 2014 года яйцо впервые за 112 лет показали публике.

Императорское сокровище спасли не сигнализация, музей или искусствовед. Его спасло то, что никто не захотел купить его как лом. Иногда самая неудачная сделка оказывается великолепной страховкой истории.

Пруфы:
🥚 архив Wartski с документами и аукционной историей
🥚 исследование Анны и Винсента Палмейдов
🥚 карточка яйца в исследовательской базе
🥚 выставка Музея Виктории и Альберта

#историяроссии #фаберже #историяискусства #романовы #необычныенаходки

@data_engi

Airbyte убрал лишний круг данных внутри Redshift

В Airbyte Destination Redshift 4.0 данные передаются между контейнерами через Unix-сокеты в Protobuf, а не гоняются через оркестратор в JSON. Типы теперь приводятся до загрузки, поэтому записи сразу попадают в итоговые таблицы без промежуточных _airbyte_raw_* и дополнительного SQL.

В тестах пропускная способность выросла с 8,36 до 38,27 МБ/с — в 4,6 раза. Заодно снижается нагрузка на Redshift: для финальной подмены используются блоки данных через ALTER TABLE ... APPEND, а не построчное копирование.

Перед обновлением стоит проверить dbt-модели и отчёты: если они читают старые _airbyte_raw_*, их придётся перевести на итоговые таблицы.

#airbyte #redshift #etl #dataengineering #datapipelines #performance

@data_engi

Uber поставила на роботакси больше $10 млрд

Uber планирует вложить свыше $10 млрд в развитие сети беспилотных машин и хочет вывести до 120 000 роботакси минимум в 15 городах уже к концу года.

Компания, которая ещё в 2020 году закрыла собственное направление беспилотников, теперь решила стать главным диспетчером чужих автономных машин — Waymo, Zoox, Rivian, Wayve и других.

Война за роботакси закончилась: теперь конкурируют не только сами автомобили, но и приложения, через которые ты их вызываешь.

#robotaxi #selfdriving #autonomousvehicles #uber

@data_engi

#dev #memes #datalake

@data_engi

Китайский автопилот выходит на дороги Дании

WeRide договорилась с датским оператором GreenMobility о запуске публичного сервиса роботакси. Если регуляторы разрешат, первые поездки начнутся в первой половине 2027 года.

Дания станет уже шестой европейской страной, куда вышла китайская компания. Пока WeRide в основном тестирует машины за рубежом, но явно строит глобальную сеть — от Китая и ОАЭ до Европы.

Китайские роботакси начинают экспортировать не автомобили, а целую транспортную инфраструктуру.

#robotaxi #selfdriving #autonomousvehicles #china

@data_engi

#dev #ai #llm #memes #agentic

@data_engi

Arrow научился сжимать Bloom-фильтры уже после записи данных

В Apache Arrow 25.0.0 изменили создание Bloom-фильтров для Parquet. Сначала фильтр выделяется под предполагаемое число уникальных значений, а после записи автоматически уменьшается под фактическую кардинальность.

Раньше консервативная оценка могла оставлять в каждом файле неоправданно большой фильтр. Теперь Parquet экономит место, сохраняя заданную вероятность ложного срабатывания и возможность быстро отбрасывать ненужные данные.

Для инженеров это означает меньшие файлы и меньше лишнего ввода-вывода без необходимости точно предсказывать кардинальность столбца заранее.

#apachearrow #parquet #bloomfilter #dataengineering #queryoptimization #datastorage

@data_engi

Prefect покупает Dagster

13 июля Prefect объявила о покупке Dagster Labs. Два проекта, почти десять лет конкурировавшие на рынке оркестрации данных, окажутся внутри одной компании.

Dagster сохранит название, открытую лицензию и коммерческий сервис Dagster+. Развёртывания, тарифы и поддержка клиентов пока не меняются. Объединённая компания будет работать под брендом Prefect.

Для инженеров немедленной миграции нет. Но рынок заметно уплотняется: динамические процессы Prefect теперь соседствуют с моделью активов, каталогом, партиционированием и lineage Dagster. Дальнейшее сближение продуктов пока лишь возможный сценарий.

#dagster #prefect #dataengineering #orchestration #opensource #datapipelines

@data_engi

ScyllaDB погасила шторм из 380 тысяч подключений

После перезапуска узла драйверы одновременно переподключались к каждому процессорному ядру. Очереди раздувались, подключения не укладывались в тайм-ауты, клиенты повторяли запросы — и P99 задержка взлетала с 4 мс до 5 секунд.

В ScyllaDB 2026.2 добавили ограничение параллельной инициализации соединений, единый кеш прав и ролей, вытесняемое вычисление хешей паролей и отдельный низкоприоритетный класс обслуживания для стартового трафика.

В собственном тесте на девяти узлах и 380 тысячах соединений P99 во время перезапуска снизилась до 3,5 мс — примерно в 1000 раз. Хорошее напоминание инженерам: иногда база выдерживает миллионы запросов, но падает от миллионов рукопожатий.

#scylladb #database #distributedSystems #performance #reliability #dataengineering

@data_engi

🧈 Как молочное лобби заставляло красить маргарин в розовый

В 1880-х годах американские производители молока столкнулись с опасным конкурентом — маргарином. Он стоил дешевле масла и позволял использовать жиры, которые прежде считались отходами.

Особенно популярным заменитель стал среди семей, не способных регулярно покупать настоящее сливочное масло.

Молочная промышленность объявила маргарин подделкой. Отчасти претензии были справедливы: некоторые торговцы действительно выдавали окрашенный продукт за масло. Но вместо обязательной маркировки фермерские объединения потребовали практически уничтожить конкурента.

В 1886 году Конгресс принял Закон об олеомаргарине. Производителям и продавцам понадобились лицензии, а каждый фунт товара обложили налогом в два цента. Один конгрессмен прямо заявил, что хотел бы установить настолько высокий сбор, чтобы производство «поддельного масла» исчезло совсем.

Некоторым штатам этого показалось мало.

Вермонт, Южная Дакота и Нью-Гэмпшир обязали изготовителей красить маргарин в ярко-розовый цвет. Формально покупателя защищали от обмана. Фактически продукт делали настолько отталкивающим, чтобы его никто не захотел приобретать.

Закон Нью-Гэмпшира 1891 года требовал не только крупной надписи «олеомаргарин», но и розовой окраски самого продукта. Нарушителю грозили штраф до $100 или тюрьма на срок до 60 дней.

На этом и попался торговый агент Коллинз. Он продал десятифунтовую упаковку маргарина компании Swift & Co. Товар был правильно подписан и соответствовал федеральным требованиям. Единственным преступлением оказался цвет: маргарин выглядел как масло, а не как десерт из мясного жира.

Коллинза оштрафовали на $100. Дело дошло до Верховного суда США.

23 мая 1898 года суд отменил приговор. Судьи назвали требование скрытым запретом: розовый краситель превращал нормальный пищевой продукт в практически непродаваемый. В решении ехидно заметили: если властям позволить выбирать цвет, они с тем же успехом смогут потребовать синий, красный или чёрный маргарин — либо вещество с отвратительным запахом.

Молочное лобби проиграло бой, но не войну. В 1902 году Конгресс установил налог в десять центов на фунт жёлтого маргарина и всего четверть цента — на неокрашенный. Разница получилась сорокакратной.

Производители начали продавать белый маргарин вместе с капсулами красителя. Покупатели разминали пакет вручную, превращая содержимое в привычную жёлтую массу. Особенно забавно, что сами изготовители масла тоже использовали красители, чтобы его цвет не менялся вместе с рационом коров.

Так государство не позволило промышленности продавать розовый маргарин — и заставило миллионы покупателей самостоятельно делать его жёлтым.

Пруфы:
🔘история закона 1886 года
🔘решение Верховного суда США
🔘Смитсоновский институт
🔘исследование налоговой войны вокруг маргарина

#историябизнеса #историяеды #маргарин #потребительскоеправо #экономическаяистория

@data_engi

Trino наконец получил нормальный PIVOT

В Trino 483 появился оператор PIVOT, превращающий значения строк в столбцы. Больше не нужно вручную собирать отчёт через десятки конструкций sum(CASE WHEN ...).

Поддерживаются несколько агрегатов, многомерные ключи и итоги через ROLLUP, CUBE и GROUPING SETS. Для инженеров это означает короче SQL-модели и меньше ошибок в отчётных преобразованиях.

Ограничение: набор будущих столбцов нужно заранее перечислить в IN — динамического PIVOT пока нет.

#trino #sql #dataengineering #analytics #datatransformation #queryengine

@data_engi

#dev #memes #agentic

@data_engi

Flink SQL научился превращать обычный поток в CDC и обратно

В Apache Flink 2.3 появились функции FROM_CHANGELOG и TO_CHANGELOG.

Первая превращает поток строк с кодами операций в динамическую таблицу с INSERT, UPDATE и DELETE. Вторая делает обратное — переводит обновляемую таблицу в append-only журнал событий.

Для инженеров это означает, что нестандартные CDC-форматы, аудит и запись в append-only хранилища теперь можно собирать на SQL, без перехода к DataStream API. Но текущей версии нужны полные пары UPDATE_BEFORE и UPDATE_AFTER, иначе состояние может получиться неверным.

#apacheflink #flinksql #cdc #streamprocessing #dataengineering #datapipelines

@data_engi