TGViewer
Channel Public Channel
Agentic Engineer

Agentic Engineer

@data_engi

Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM, Agentic systems, AI, robots, drones etc.

Boost channel - https://t.me/boost/data_engi
Subscribers
686
Photos
458
Videos
131
Links
756

Showing posts older than #1182 · Back to latest

Older Posts 20 shown
Post #1181 167
⚓ Как корабль провалил проверку ещё у причала — и всё равно вышел в море

В 1625 году шведский король Густав II Адольф заказал военный корабль «Васа». Швеция воевала с Речью Посполитой, поэтому флоту требовалась плавучая демонстрация силы.

Около 400 человек построили судно длиной 69 метров и массой примерно 1200 тонн. На двух закрытых артиллерийских палубах разместили 64 пушки. Корабль получился величественным, богато украшенным — и слишком высоким для своей ширины.

Перед первым плаванием капитан Сёфринг Ханссон устроил простейшую проверку остойчивости. Тридцать моряков начали перебегать по верхней палубе от одного борта к другому.

После третьего перехода вице-адмирал Клас Флеминг приказал остановиться: корабль раскачивался настолько сильно, что мог опрокинуться прямо у причала.

Результат испытания был предельно понятен. Но теоретически рассчитывать остойчивость кораблей в XVII веке ещё не умели. Исправление потребовало бы серьёзной переделки, король ждал судно для войны, а размеры корпуса были утверждены им лично.

«Васу» решили отправить в плавание.

10 августа 1628 года на борт поднялись около 150 моряков и гостей. Орудийные порты оставили открытыми: корабль должен был дать торжественный салют перед собравшимися жителями Стокгольма и иностранными послами.

Примерно через двадцать минут после отплытия порыв ветра накренил судно. Сначала оно медленно выпрямилось. Второй порыв оказался сильнее: нижние пушечные порты ушли под воду, и море хлынуло на артиллерийскую палубу.

«Васа» затонула, пройдя около 1300 метров. До берега оставалось всего 120 метров, но не менее 30 человек, оказавшихся внутри корпуса, погибли.

Капитана немедленно арестовали. Расследование установило, что команда была трезвой, пушки закреплены правильно, а корабль построен по утверждённым размерам. Главный кораблестроитель Хенрик Хюбертссон к тому времени уже умер. Король находился за границей.

Виновного так и не нашли, и никто не был наказан.

Через 333 года, 24 апреля 1961-го, «Васу» подняли со дна. Благодаря холодной солоноватой воде сохранилось около 98% её первоначальных деталей. Сегодня вокруг корабля построен отдельный музей.

«Васа» затонула не потому, что её не проверили. Она затонула потому, что проверка дала неудобный для графика результат. Т.е. тесты не прошли, но релиз решили выкатить. 🤷‍♀️

Пруфы:
🔘Музей "Васа" - характеристики и причины катастрофы
🔘материалы расследования
🔘реконструкция гибели корабля

#историятехники #инженерныеошибки #васа #кораблекрушение #историяшвеции

@data_engi
Post #1180 160
В Сан-Франциско робот-гувернёр начал убирать квартиры

Стартап Tau Robotics запустил закрытое тестирование: гуманоидный робот пылесосит, выносит мусор и протирает поверхности за $30 в час.

Пока роботом управляют AI и человек-оператор. План — сначала оставить человеку только контроль безопасности, а затем убрать его совсем.

Робот ещё не полностью автономен, но уже выходит на рынок услуг. Следующий шаг — чтобы он сам выбрал, что сначала: кухня или бардак в гостиной.

#robotics #humanoidrobots #physicalai #automation

@data_engi
Post #1179 169
🖼️ PostgreSQL 19 сможет сжимать таблицы почти без простоя

В ядре PostgreSQL появился REPACK (CONCURRENTLY). Команда переписывает таблицу и индексы, удаляет место от мёртвых строк и возвращает его операционной системе.

Во время копирования таблица остаётся доступной: изменения перехватываются через логическое декодирование. Монопольная блокировка нужна только для короткой финальной подмены файлов — в отличие от VACUUM FULL, который держит её всю операцию.

Для инженеров это означает меньше окон обслуживания и внешних инструментов. Но потребуются дополнительное место на диске и таблица с первичным ключом либо REPLICA IDENTITY.

#postgresql #database #dataengineering #vacuum #reliability #infrastructure

@data_engi
PostgreSQL Documentation REPACK REPACK REPACK — rewrite a table to reclaim disk space Synopsis REPACK [ ( option [, ...] ) ] [ …
Post #1178 178
😵‍💫 США заподозрили роботы-пылесосы в шпионаже

FCC внесла иностранные автономные роботы, включая новые модели роботов-пылесосов, в список устройств, представляющих угрозу нацбезопасности.

Причина — камеры, датчики, интернет и возможность удалённо управлять устройством. Уже проданные пылесосы запрет не затрагивает, но новые модели могут не получить разрешение на продажу в США.

Пылесос просто хотел собрать пыль, а оказался подозреваемым по делу о кибершпионаже.

Пруфы:
🔘Wired
🔘Tom’s Hardware

#robotics #cybersecurity #smarthome #technology

@data_engi
WIRED Your Robot Vacuum Is Apparently a National Security Risk A new restriction on foreign-made mobile robots affects robotic vacuums, pool cleaners, and lawn mowers. Here’s what it means for the bots already in your home—and the ones you may never get to buy.
Post #1177 180
🖼️ PostgreSQL 19 закрыл старую дыру логической репликации

Раньше строки с serial и identity реплицировались, а значения стоящих за ними sequence — нет. После переключения на подписчика nextval() мог вернуться назад и упереться в уже занятый ключ.

🖼️ В PostgreSQL 19 появились публикации FOR ALL SEQUENCES и команда REFRESH SEQUENCES. Отдельный процесс переносит текущие значения и проверяет совпадение настроек последовательностей.

Важная оговорка: синхронизация не непрерывная. Перед миграцией или переключением узлов команду придётся запускать повторно — зато без самодельных скриптов с setval().

#postgresql #logicalreplication #cdc #dataengineering #datamigration #highavailability

@data_engi
PostgreSQL Documentation 29.7. Replicating Sequences 29.7. Replicating Sequences # 29.7.1. Sequence Definition Mismatches 29.7.2. Refreshing Out-of-Sync Sequences 29.7.3. Examples To synchronize sequences from a publisher to …
Post #1176 183
🍺 Как спор о птице превратил пивоварню Guinness в издателя мировых рекордов

В ноябре 1951 года управляющий пивоварней Guinness Хью Бивер отправился на охоту в ирландском графстве Уэксфорд. Охотники промахнулись по золотистой ржанке и заспорили: не самая ли это быстрая промысловая птица Европы?

Ответ решили найти в справочниках. Но оказалось, что ни один из них такие вопросы не разбирает.

Бивер понял: подобные споры каждый вечер возникают в тысячах британских и ирландских пабов. Значит, Guinness может выпустить книгу, которая будет заканчивать их раньше, чем участники перейдут от доводов к кружкам.

В 1954 году сотрудник пивоварни и знаменитый бегун Крис Чатауэй познакомил Бивера с близнецами Норрисом и Россом Макуиртерами. Братья содержали лондонское агентство, снабжавшее газеты точными фактами и статистикой.

📕 Guinness заказала им сборник рекордов.

Макуиртеры писали его тринадцать с половиной недель, работая примерно по 90 часов в неделю. Они рассылали запросы астрономам, врачам, зоологам, инженерам и спортивным организациям, сверяя каждый показатель с профильными специалистами.

📗 В 1955 году появилась зелёная книга объёмом 198 страниц. Переплёт даже рекламировали как устойчивый к воде и пиву — справочник изначально предназначался для суровой среды британского бара.

Первый тираж составил 50 000 экземпляров. Часть раздали как рекламные подарки Guinness, остальные поступили в продажу. К Рождеству книга стала британским бестселлером, а первый выпуск пришлось допечатывать ещё трижды.

Дальше рекламный сувенир начал жить собственной жизнью. К 1964 году продали миллион книг. В 1974-м «Книга рекордов Guinness» сама установила рекорд: при общем тираже 23 950 000 экземпляров её признали самой продаваемой защищённой авторским правом книгой в истории.

Но у этой истории есть особенно забавный факт.

Вопрос, ради которого всё началось, в первых книгах так и не разобрали: издание учитывало мировые рекорды, а не первенство птиц внутри Европы. По современным данным Guinness, наиболее вероятный ответ — краснозобый крохаль, способный лететь со скоростью около 130 км/ч.

Так Guinness создала мировую систему проверки фактов, чтобы завершать споры в пабах. И первым делом оставила незавершённым тот спор, ради которого появилась.

Пруфы:
🔘история создания книги
🔘архив изданий
🔘Смитсоновский институт
🔘данные о самой быстрой промысловой птице

#историябизнеса #книгарекордов #guinness #историярекламы #необычныефакты

@data_engi
  • ❤‍🔥 5
Post #1175 196
DuckDB ускорил чтение CSV из S3 почти в 20 раз

31 июля разработчики DuckDB представили асинхронное чтение Parquet и CSV, которое станет стандартным в DuckDB 2.0.

В тесте TPC-H запрос к CSV-файлу размером 80,9 ГБ в S3 ускорился с 878 до 45 секунд. Для Parquet время сократилось с 8,23 до 2,84 секунды.

Отдельный пул I/O-потоков и управляемый памятью read-ahead позволяют не блокировать вычислительные потоки на сетевых запросах. Для инженеров это означает заметно более эффективные запросы к удалённым озёрам данных без предварительной загрузки файлов.

Источник: DuckDB — Asynchronous I/O

#duckdb #dataengineering #asynchronousio #s3 #parquet #datalake

@data_engi
DuckDB Asynchronous I/O in DuckDB: Work, Thread, Work Starting with v2.0, scheduled for fall 2026, DuckDB will support asynchronous reads of Parquet and CSV files. This can significantly speed up queries when synchronous I/O does not saturate the available bandwidth, as is typical in EC2/S3 compute-storage setups.
Post #1174 176
Iceberg защитил каталог от двойных коммитов

В Apache Iceberg 1.11 REST Catalog получил поддержку стандартного заголовка Idempotency-Key для изменяющих операций.

Теперь повторный запрос после сетевого тайм-аута — создание таблицы, удаление или коммит — гарантированно не выполнится дважды. Раньше клиент мог не получить ответ и повторить уже успешно завершённую операцию, создавая лишние снимки или повреждая состояние каталога.

Для тебя, как инженера, это важный шаг к нормальной семантике повторных попыток: сбой сети больше не должен превращаться в сбой данных.

#apacheiceberg #lakehouse #dataengineering #idempotency #dataintegrity #reliability #restapi

@data_engi
Post #1173 176
🤖 Google научила Gemini управлять всем гуманоидным роботом

Google DeepMind представила Gemini Robotics 2 — модель, которая управляет не только руками, но и всем телом робота. На демонстрации Apollo 2 ходил, наклонялся, находил предметы на полке, завязывал пакеты и откручивал лампочки.

Это шаг от роботов, выполняющих отдельные запрограммированные движения, к универсальным физическим агентам. Пока речь идёт о демонстрациях, а не о массовой автономной эксплуатации, но направление очевидно: Google пытается создать универсальный программный слой для разных роботов. The Verge

#physicalai #robotics #artificialintelligence #humanoids #roboticsai

@data_engi
Post #1172 183
#dev #memes #promptengineer

#data_engi
Post #1171 173
Flink выкинул Hadoop из пути к S3

В Apache Flink 2.3 появился flink-s3-fs-native — новый файловый плагин для S3, написанный специально для Flink и не зависящий от Hadoop.

В тестах среднее время создания чекпоинта сократилось с 90,1 до 48,8 секунды, а на небольших состояниях ускорение доходило до 4,5 раза. Заодно проект перешёл с устаревшего AWS SDK v1 на v2 и уменьшил дерево зависимостей.

Для потоковых систем это означает более быстрое восстановление после сбоев, меньше данных для повторной обработки и более короткие задержки при exactly-once записи. Пока плагин экспериментальный и подключается вручную.

#apacheflink #dataengineering #streamprocessing #s3 #checkpoints #reliability #infrastructure

@data_engi
flink.apache.org Introducing Flink's Native S3 FileSystem: Built for Performance, Designed for Production Apache Flink relies on the underlying filesystem for much of its work: reading and writing application data, materializing streaming sinks, and storing checkpoints and savepoints for recovery. For years, S3 support in Flink meant choosing between two Hadoop…
Post #1170 154
#dev #memes #de #sql #bigdata #datalake #nosql #dwh

@data_engi
Post #1169 156
🤖 Разработчик «мозгов» для роботов может получить оценку $3 млрд

Generalist AI ведёт переговоры о новом раунде финансирования. Если сделка состоится, компанию оценят примерно в $3 млрд — всего через месяц после раунда на $400 млн при оценке $2 млрд.

Generalist не производит роботов. Она делает универсальные модели, которые должны работать на разных машинах — от фабричных манипуляторов до домашних роботов.

Роботы ещё не научились стабильно складывать бельё, а их «мозги» уже дорожают быстрее, чем квартиры.

Пока это переговоры, а не закрытая сделка.

#robotics #physicalai #artificialintelligence #startups

@data_engi
Business Insider Robotics startup Generalist AI is in talks to raise a new funding round at a $3 billion valuation Venture firm 8VC is expected to lead the round as investors pour money into physical AI.
Post #1168 148
Kafka позаимствовала cordon у Kubernetes

В Apache Kafka 4.3 появилась возможность запретить размещение новых партиций на выбранном диске или брокере, не отключая его.

Для этого добавили настройку cordoned.log.dirs. Если указать конкретный каталог, Kafka перестанет класть туда новые реплики. Если поставить *, весь брокер исключается из новых назначений, продолжая обслуживать существующие данные.

Это упрощает замену дисков и вывод брокеров из кластера: больше не нужно переносить партиции, пока Kafka параллельно создаёт там новые.

Apache Kafka 4.3

#apachekafka #dataengineering #streaming #distributedSystems #infrastructure #kubernetes
  • ❤‍🔥 4
Post #1167 156
Две реализации Iceberg проверяют друг друга на 10 000 тестах

Разработчики Apache Comet превратили почти 10 000 тестов Iceberg для Spark в систему дифференциального тестирования.

Один запрос выполняется двумя путями: через эталонную Java-реализацию и через Iceberg Rust/DataFusion. Если результаты расходятся — где-то спряталась ошибка. Такой подход уже выявил дефекты не только в молодой Rust-версии, но и в зрелой Java-реализации.

Для инженеров здесь важна сама практика: независимые движки могут служить взаимными «оракулами» корректности и находить ошибки, которые обычные тесты годами не замечают.

#apacheiceberg #dataquality #differentialtesting #dataengineering #datafusion #reliability

@data_engi
  • ❤‍🔥 4
Post #1166 147
AI-чипы стали слишком быстрыми для собственных данных

Стартап Eliyan привлёк $145 млн при оценке $1 млрд. Компания делает чиплеты и технологии соединения для AI-систем.

Проблема проста: современные ускорители считают быстрее, чем получают данные. В итоге дорогие GPU могут простаивать, ожидая очередную порцию информации.

AI уже научился думать быстро. Теперь ему пытаются построить нормальный «интернет» внутри сервера.

#ai #aichips #semiconductors #datacenter

@data_engi
Post #1165 152
Waymo снова выпустила роботакси на хайвеи

Waymo возвращает беспилотные автомобили на скоростные дороги в районе Сан-Франциско после шестинедельного обновления ПО.

Ранее семь машин въехали через конусы на закрытый участок ремонта. Всего отзыв затронул 3871 автомобиль пятого поколения.

Вывод простой: автономность — это не только «видеть дорогу», но и понимать, что оранжевые конусы иногда важнее маршрута в навигаторе.

#robotaxi #selfdriving #autonomousvehicles #waymo

@data_engi
Post #1164 152
🖼️ Airflow больше не запускает второй Spark-job после падения воркера

В Apache Airflow 3.3 появился встроенный state store: задачи могут сохранять идентификаторы внешних заданий, курсоры и чекпоинты между повторными попытками.

Первым это использовал SparkSubmitOperator. Если воркер Airflow умер во время выполнения, новая попытка подключится к уже запущенному Spark-job, а не отправит ещё один. Режим durable=True включён по умолчанию.

Для инженеров это означает меньше дублей, потерянных вычислений и самодельного хранения состояния через XCom или внешние таблицы.

Apache Airflow 3.3.0

#apacheairflow #apachespark #dataengineering #orchestration #datapipelines #reliability

@data_engi
Apache Airflow Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support Apache Airflow 3.3.0 introduces a first-class state store for tasks and assets (AIP-103), a Language Task SDK for writing tasks in Java and Go (AIP-108), a major expansion of asset partitioning, and pluggable retry policies.
Post #1163 146
Agentic Engineer После атаки OpenAI создали AI-киберкоалицию Nvidia, Microsoft, IBM, SpaceXAI, Cloudflare, Hugging Face и другие компании запустили Open Secure AI Alliance — инициативу по созданию открытых инструментов защиты AI-систем и агентов. OpenAI, Google и Anthropic…
Следующий шаг AI-полиция? 🚨
Post #1162 164
После атаки OpenAI создали AI-киберкоалицию

Nvidia, Microsoft, IBM, SpaceXAI, Cloudflare, Hugging Face и другие компании запустили Open Secure AI Alliance — инициативу по созданию открытых инструментов защиты AI-систем и агентов.

OpenAI, Google и Anthropic среди основателей не указаны. Получается, пока одни строят закрытые модели, другие собирают пожарную дружину — на случай, если нейросети снова решат прогуляться по интернету.

#ai #cybersecurity #opensourceai #aisafety

@data_engi
The Verge Nvidia, Microsoft launch open AI security alliance — without OpenAI, Google, or Anthropic It comes after Hugging Face used a Chinese open-weight AI to defend itself against rogue OpenAI agents.
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →