Data Engineer

2️⃣3️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 22–23 сентября 2026

🍄 CLICKHOUSE

• На этой неделе вышел «осенний» релиз ClickHouse 26.9: 56 новых фич, 135 оптимизаций производительности, 464 багфикса. Из вкусного: жёсткие лимиты на размер и число таблиц (max_table_size_rows / max_tables) — прямая заявка на мультитенантные сервисы; parallel replicas научились читать Merge-таблицы; вся семья SQL-стандартных функций линейной регрессии (regr_slope, regr_intercept, regr_r2…) с теми же именами, что в PostgreSQL/Oracle/Snowflake — запросы портируются as is; bracket-синтаксис для JSON-путей вида json['user']['name']; режим exclusive у S3Queue без координации через Keeper. Разбор релиза: https://presentations.clickhouse.com/2026-release-26.9/

• Mike Scarpelli — бывший CFO Snowflake и ServiceNow — вошёл в совет директоров ClickHouse Inc. Привлечение финансиста такого калибра обычно читают как подготовку к серьёзным корпоративным шагам — за компанией определённо что-то планируют. https://clickhouse.com/blog/clickhouse-appoints-mike-scarpelli-to-board-of-directors

❄️ SNOWFLAKE

• Сентябрьский AI Pulse: анонсированы AI Gateway с governance-политиками для LLM-трафика, Semantic Studio для семантического моделирования и обновления агентов Coco/Cowork. Экосистема уверенно дрейфует в «data platform для агентов». https://www.snowflake.com/en/ai-pulse/september-2026/

📚 ПОЧИТАТЬ

• «Postgres on NVMe» от ClickHouse — большой разбор того, как быстрые NVMe сближают транзакционную и аналитическую нагрузки и что из этого следует для HTAP-архитектур. https://clickhouse.com/blog/postgres-on-nvme

• Хвост недели от ClickHouse: официальный провайдер для Apache Airflow, интеграция с dbt platform, PromQL TimeSeries-движок (drop-in замена Prometheus) и WalShadow — сабсекундная репликация Postgres из физического WAL. Всё в сентябрьском newsletter: https://clickhouse.com/blog/202609-newsletter

• В экосистеме Postgres тихо, но: вышел pgAdmin 4 v9.18 и pgsql-test — инструмент для запуска реальных тестов против живого Postgres вместо моков. https://www.postgresql.org/about/newsarchive/

🧠 Что запомнить: ClickHouse откровенно готовится ко взрослой корпоративной жизни — LTS 26.8 в сентябре, мультитенантные лимиты и переносимый SQL в 26.9, CFO Snowflake в совете директоров. А тезис «OLTP и OLAP сближаются на быстрых дисках» — главный архитектурный сюжет осени.

Кабанчик приехал

LLMSQLQueryOperator

В Airflow появился новый декоратор task.llm_sql, который генерирует SQL из запроса на обычном языке.

Вы описываете, какие данные нужны, передаёте схему — и LLM генерирует SQL.

Главное — безопасность: Airflow разбирает SQL в AST и разрешает только

SELECT, UNION, INTERSECT и EXCEPT.

DELETE, DROP, UPDATE и INSERT
блокируются.

Также можно включить

require_approval=True

, чтобы человек проверил SQL перед продолжением DAG.

Сам

@task.llm_sql

запрос не выполняет — только генерирует и валидирует его.

@tldr_data

Кабанчик уже не тот
https://t.me/alexgladkovblog/7608

Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support

В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.

В DAG задача объявляется как stub:

@task.stub(queue="golang")

Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.

При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.

Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.

Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.

Документация

@tldr_data

Продолжая закрывать свой букдолг, дошел до книги Питхейна Стренгхольта «Архитектура медальона». Надо сказать, что я долгое время сознательно удерживал себя от погружения в сию концепцию, ибо подустал от непрекращающихся попыток ребрендинга давно устоявшегося понятийного аппарата, являющихся теми же яйцами, только в профиль. Причем каждый новый автор, как по мне, действует по принципу «легче мне не станет, и тебе не станет, но не в этом суть».

Сплошной «танец желтых листьев», в общем, который, «может быть»… Ага…

Тяжело приступать к чтению, имея на старте подобные предубеждения, но я справился. Тем более что автор тоже постарался.

Пара слов о нем самом. Питхейн Стренгхольт - человек в мире данных очень известный, эксперт, блогер, спикер, освещающий в своих выступлениях новейшие тенденции. Еще один его труд - «Масштабируемые данные» - также находится в моем списке.

Книга состоит из четырех частей.

Первая представляет собой теоретический анализ концепции и закладывает прочный фундамент для дальнейшего изучения. В ней автор проводит читателя через эволюцию архитектур данных, рассматривает предусловия, на которых медальон строится, описывает ключевые концепции и паттерны. Читается на удивление легко.

Вторая посвящена практическому применению - сквозной пошаговый процесс построения архитектуры. Много кода и Microsoft Fabric. Мне после долгих лет с MSSQL - нормально, хейтерам же, возможно, стоит пропустить.

Третья - живые внедрения. В ней автор в формате интервью с представителями трех компаний показывает проблемы, с которыми могут столкнуться новички, и технические особенности управления крупномасштабными системами данных. Читать про чужие сложности всегда приятнее, чем сталкиваться со своими.

Заключительная посвящена масштабированию и будущему архитектуры медальона. Отдельная глава выделена под взаимодействие с генеративными ИИ, куда ж сейчас без этого… Однако лично я в ней ничего интересного не нашел, кажется, автор включил ее исключительно в угоду моде.

В целом же книга мне понравилась, особенно тем, что архитектура медальона рассматривается не как жесткий каркас, а как гибкая структура, прежде всего логическая, оставляющая проектировщику большое число степеней свободы и право на собственное мнение. Единой версии правды и лучшего кунг-фу здесь нет.

Яйца и вправду оказались теми же самыми, но вполне пригодными к употреблению.

Раз уж чтение становится ключевым навыком инженера данных, а, по мнению голландских ученых, его лучше развивать при помощи бумажных книг, то прикупил себе сей чудесный экземпляр в бумажную коллекцию.

«Говорил я ему, говорил: кабаки и бабы доведут до цугундера!» (МВИН)

https://t.me/rockyourdata/6062

Я тоже буду

https://t.me/analyticsfromzero/728

С недавних пор я официально являюсь сертифицированным руководителем отдела, закончив соответствующий курс в «Стратоплане». Оказывается, руководить людьми довольно просто - «развивай свои сильные стороны, а слабые закрывай шаблонами». Все по бразильской системе, короче…

Пришел я сюда с целью «легитимизировать свой опыт», придать ему системный характер. В каком-то хаотичном виде он у меня и так присутствовал… Колес и велосипедов за свою управленческую карьеру я изобрел предостаточное количество. «Обломал немало веток, наломал немало дров», не один штрафной круг по граблям прошел. Мне бы вот все эти мои новые знания четыре года назад, глядишь, бы и не было затянувшегося творческого кризиса с обязательной сменой работы каждый год. А иногда и не один раз…

Четыре месяца пролетели незаметно. Менялись темы, менялись преподаватели, неизменными были высокий уровень каждого занятия и заряд энергии, приобретаемый от общения с умными людьми на групповых занятиях.

Что мне дал этот курс?

1️⃣ Помог лучше узнать себя, ближе к концу я разобрался, зачем я здесь, для чего это все мне нужно и что делать дальше.

2️⃣ Мой образ жизни стал несколько здоровее, я стал следить за сном, перестал терзать себя чрезмерными беговыми объемами, даже сбросил пару накопленных за период зимней спячки килограммов. «Вы где-нибудь видели топ-менеджера, который пихает в себя всякую гадость?» - в общем.

3️⃣ По DISC-классификации я желто-зеленый. Про желтый цвет и до этого понятно было, а вот зеленый удивил. Правда, после того, как я начал высыпаться, вместо зеленого стал проявляться красный.

4️⃣ GOSPA - очень простой и вместе с тем эффективный метод стратегического планирования. Настолько он меня поразил, что я прямо на занятии полез переписывать свою стратегию, а остаток лекции теперь придется пересматривать в записи.

5️⃣ Куча полезной литературы для дальнейшего самостоятельного развития. На пару лет точно хватит даже с моей скоростью чтения.

6️⃣ Я познакомился с большим количеством умных людей, советы и рекомендации коих очень помогли мне при разборе различных рабочих ситуаций.

Всем им за это я премного благодарен.

Как и моему бадди, конечно же. Не считая решенных рабочих вопросов, без него не появился бы канал про бег.

Также я благодарен всем преподавателям и сотрудникам «Стратоплана» за то, что эти четыре месяца получились такими насыщенными и интересными.

Всего-то чуть больше недели прошло, а я уже скучаю. Обязательно вернусь через год.

Раз уж вписался в ИИ-трансформацию, надо хотя бы делать вид, что понимаешь, что происходит. Обложился, в общем, специальной литературой, благо ее сейчас предостаточно, да и на русском выходит со скоростью Себастьяна Саве, устаревая примерно так же. Так что «не хайпа ради, а служебной пользы для». Да и стратегию защищать нужно...

Чип Хьюен - персонаж в сфере сей довольно авторитетный: работала в NVIDIA, преподавала в Стэнфорде и даже написала книгу о машинном обучении. Которую я, конечно же, «ни при какой погоде не читал». Ну, не интересовала меня эта тема...

Люблю, когда автор начинает с определения:

«ИИ-инженерия - процесс создания приложений на основе доступных моделей»

Сразу настраивает на рабочий лад.

Далее Хьюен по шагам проводит читателя от знакомства с базовыми моделями до архитектуры ИИ-инженерии. Ровно посередине находится глава, посвященная промт-инжинирингу, который автор определяет как «процесс разработки инструкции, которая позволяет добиться от модели желаемого результата». Отмечая, что:

«Проблема не в промт-инжиниринге. Это реальный и полезный навык. Проблема возникает, когда люди не знают ничего, кроме промт-инжиниринга. Вам будут нужны знания из области статистики, инженерии и классического ML для отслеживания экспериментов, оценки и редактирования наборов данных»

Такой вот нас ждет «новый дивный мир»...

Книга мне понравилась, подойдет тем, кто уже имеет некий инженерный опыт, но в ИИ еще не вляпался.

#напочитать

Даниэль Пинк - «Драйв»

Типичная книга из серии «Литература для бизнеса», построенная по формуле «Проблема-Следствие-Аргументы-Выгода». Много воды, различного рода кейсов из жизни деревень Вилларибо и Виллабаджо. В Вилларибо все еще используют обычное моющее средство и вследствие этого кипятятся, а в Виллабаджо уже рубят. И да, мы идем к вам.

Суть первых двух частей можно свести к простой мысли: для творческих задач внутренняя мотивация важнее внешней. Для рутинных задач внешний стимул в короткой перспективе может стать отличным импульсом.

Мотивируют людей, согласно Пинку, всего три вещи:

🔹 Автономность - наше стремление к самоуправлению

🔹 Мастерство - побуждение становиться все лучше и лучше в своем деле

🔹 Целеустремленность - явная отсылка к Фейербаху - желание быть частью чего-то большего, чем мы сами

Самая полезная - третья часть - полный комплект подсказок, упражнений и ресурсов, призванных помочь создавать условия для поведения, определяемого внутренними желаниями. Ради нее и стоит читать книгу.

Цитаты:

«Одна из главных причин фрустрации на рабочем месте - несоответствие между тем, что люди должны делать, и тем, что они могут. Слишком простые задачи заставляют их скучать, слишком сложные - тревожиться»

«Когда вы будете размышлять о своей цели в жизни, начните с важного вопроса: как звучит ваша главная фраза?»

Когда я заступал на пост Head of DE в зеленом (тогда) DIY-ритейлере, у меня была похожая идея с отсылкой на японских императоров, которые в начале своего правления тоже должны были представить некий девиз. Я тогда что-то придумал, следовал выбранному курсу, но нигде это не афишировал, а коль скоро так, то и у меня из головы это вылетело. Но наверняка там что-то было про непрерывное развитие…

Оформил предзаказ на второе издание «Книги с кабанчиком» и по этому поводу явился в офис в соответствующей футболке. Такая книга точно должна быть в моей бумажной коллекции!

https://habr.com/ru/companies/piter/articles/1059118/

https://github.com/AlexGladkov/quickai

Напоминаю, что если вы хотите замерять эффективность своей работы с агентами и Клодом (а сейчас уже и не только), то можете воспользоваться тулзой выше

Человек, который в конце прошлого года клялся и божился, что станет меньше читать, уже к началу июля залил в «болото данных» своего головного мозга еще 60 книг. И ни конца ни края сему беспределу не видно.

Основными катализаторами стали:

1️⃣ Выход в офис - 2 часа в дороге.

2️⃣ Аудиокниги - еще час во время тренировок. Итого с обеденным перерывом около 4 часов в день выходит, все книги мира прочитать можно.

3️⃣ Учеба в Стратоплане серьезно так пополнила буклог, все такое интересное и само на экран просится.

4️⃣ Смена деятельности - раз уж взялся ИИ-трансформацию внедрять, то надо хотя бы понять, что это такое. Не удивлюсь, если к концу года я еще и геологию активно изучать начну.

5️⃣ В угоду скорости почти перестал читать на английском. Тот же Серра, например, читался в переводе, слезы кровавые ручьем лились, но так все равно быстрее. Мир опять ускорился, пришлось в этот раз под него прогнуться.

Лучшее из прочитанного:

📖 Карл Саган - «Наука в поисках Бога». Саган однозначно попадает в мой личный топ в компанию к Дэвиду Греберу, Ричарду Фейнману и Стивену Хокингу. Даже странно, что я до этого не обращал на него внимания. Прочитаю всё, что смогу, что-то обязательно будет добавлено в бумажную коллекцию.

📖 Элияху Голдрат - «Цель» и «Цель-2». Формат бизнес-романа - новый для меня - читается легко и хорошо запоминается. Не скажу, что стал знатоком теории ограничений, но при решении кейсов на групповых занятиях в Стратоплане регулярно с умным видом врываюсь в дискуссию со словами: «Коллеги, посмотрите, ну, это же чистый Голдрат».

📖 Антон Савочка - «Путь тимлида». Еще один бизнес-роман, вместе с тем представляющий собой набор рецептов по обнаружению и обходу разного рода грабель, хаотично расставленных на пути начинающего тимлида. Пять лет назад эта книга стала бы для меня настоящим спасением, да и сейчас, в общем-то, актуальности не утратила.

📖 Должно же быть в этом списке что-то про данные. Пусть будет Серра из поста выше - проглочен влет, невзирая на кровавые слезы от перевода.

А зарок читать поменьше переносится на следующий год, видимо.

Дочитал «Архитектуры данных» Джеймса Серры.

Товарищ сей мне весьма симпатичен, было время, когда я наблюдал за его каналом на YouTube. Мне импонировало то, что, рассказывая про Data Mesh, он не пытался эксплуатировать тему «самого лучшего кунг-фу», а просто рассказывал свое видение ситуации и предлагал свой критерий соответствия функции данных в компании методологии имени Жамак Дегани.

Серра почти 40 лет в IT, 15 из них в хранилищах, «я здесь давно, мне можно верить», короче. Книгу он решил написать, поскольку обратил внимание, что архитектуры данных сложны и «большинство людей не понимают их концепций, если вообще что-то знают о них». Он попытался объективно рассказать о достоинствах и недостатках каждой из представленных архитектур. На мой взгляд, у него получилось. Особенно порадовала глава о проведении дизайн-сессий по разработке архитектуры - хорошее практическое пособие для начинающих архитекторов. Ну, или чек-лист вопросов, которые имеет смысл задать на собеседовании по System Design.

По части Data Mesh Серра не стал отделываться общими словами, а прикинул, как оно будет выглядеть на практике. Его вердикт сродни: «Чистого спирта не бывает. Максимум - 96 градусов!». По его мнению, из тех, кто назовет свое решение Data Mesh:

▪️ ~90% внедрят доменное владение
▪️ ~70% данные как продукт
▪️ ~треть осилит самообслуживаемую инфраструктуру
▪️ ~половина федеративное управление

В суть Data Mesh вообще мало проник, кроме Трента Кримма, разве что. Сам Серра, по собственному признанию, десятки раз перечитывал блоги Дегани и до сих пор иногда обнаруживает, что понял что-то неправильно.

В завершение, как обычно, парочка любимых цитат:

«Слухи о смерти реляционных хранилищ данных сильно преувеличены»

«Стандартных определений концепций и архитектур данных не существует. Иначе эта книга была бы не нужна.»

«Хотя технологии и шагнули далеко вперед, дело не в них - а в людях и процессах, и мы не так хорошо продвинулись в работе с ними. Вы можете придумывать новые крутые словечки и методы, которые вам нравятся, но очень трудно заставить людей измениться.»

Поскольку я не являюсь любителем модных словечек и хайпа вокруг них, то книга Джеймса Серры мне понравилась, рекомендуется всем, кто хочет понять суть, а не заниматься жонглированием малопонятными терминами.

Prefect приобретает Dagster Labs

Очень неожиданная новость. Если бы еще вчера меня спросили, кто кого купит — Prefect или Dagster, я бы точно не поставил на такой исход.

Prefect объявил о приобретении Dagster Labs.

За последние восемь лет Prefect и Dagster подталкивали друг друга к развитию, двигая вперед всю категорию инструментов оркестрации. То, что начиналось как два разных подхода, со временем стало всё более взаимодополняющим, особенно сейчас, когда ИИ меняет подход к выполнению задач и управлению рабочими процессами.

Для пользователей ничего не меняется: Dagster и Dagster+ продолжат развиваться, а команда обещает сохранить долгосрочные инвестиции в продукт и сообщество.

Интересно будет посмотреть, как объединение двух главных игроков на рынке оркестрации повлияет на развитие экосистемы. Особенно сейчас, когда границы между data orchestration, workflow orchestration и AI-агентами становятся всё менее заметными.

@tldr_data

Если уж решил заняться вайбкодингом, то нужно идти в своем увлечении до конца…

https://t.me/vibecoding_tg/3420

Так вот, какова она, цена «сделай пайплайн красиво».

https://habr.com/ru/news/1050202/

DEMate - тот, кто тебя заменит

Meta пошарила статью про DEmate - внутреннего AI-ассистента для data engineering, который не просто SQL / питон генератор кода, а готовый AI-слой для полноценного цикла разработки (ака накидаем md в контекст в первых версиях😂), учитывающим специфику внутренних систем Meta (а там без пол-литра иногда и не разобраться 🍺). Главный поинт в том, что LLM становятся полезными в enterprise-инженерии не тогда, когда им дают полный yolo, а когда их ограничивают контекстом, проверками, рецептами и автоматической валидацией (вот это поворот 🤯)

https://medium.com/@AnalyticsAtMeta/how-we-built-demate-taming-llms-for-data-engineering-at-meta-d134e69637c5

Один из уровней это Recipe Architecture - архитектура “рецептов”, которая направляет LLM через структурированный процесс. Когда ленивый дата инженер (то есть я 🧐) просит модель “сделай pipeline” и надеется на хороший результат, DEmate выбирает подходящий рецепт, подставляет нужный контекст, генерирует изменения и затем прогоняет проверки. На выходе не просто сгенерированный код, а уже проверенный результат, адаптированный под внутренние стандарты.

Еще сделан Recipe Chaining, или цепочка рецептов. Реальная engineering-задача состоит из набора шагов: сначала нужно построить pipeline, затем добавить data quality checks, потом оптимизировать SQL или подготовить тесты 😺. DEmate не загружает модель огромным md сразу, а постепенно раскрывает инструкции по мере необходимости (ого, неужто workflow 😃). Это снижает шум в контексте и уменьшает вероятность ошибок (якобы 👍)

Meta также использовала AI для ревью самих AI-рецептов (ну а фигли, бесплатные токены же 🔼). По мере роста DEmate разные команды начали добавлять собственные рецепты, и ручная проверка стала узким местом. Для этого ввели автоматизированные проверки: инструкции должны быть не размытыми, без лишнего текста, содержать явные шаги валидации, не конфликтовать друг с другом, не дублировать существующие рецепты и иметь тестовые positive/negative prompts для правильного анализа (😑это ж сколько слопа можно нагенерить).

Еще одна из фич асинхронная валидация. В data engineering тесты выполняются долго, а инженерам приходится возвращаться к задаче через часы, проверять результаты, читать CI-ошибки и вручную исправлять код (👨‍⚕️ у кого-то еще 2024 видимо на дворе). DEmate интегрировали с Analytics Agent (вообще топовая вещь на самом деле 🍷): агент мониторит долгие тестовые job’ы, проверяет гипотезы на тестовых таблицах, обновляет diff (aka pull request) результатами и при необходимости запускает цикл исправления заново. Это превращает тестирование из ручного процесса в почти полностью автоматический loop.

Также многие фичи demate работают как cli, то есть можно встраивать в ваш собственный harnessing 🤨 (это в основном, как я использую)

P.S. В общем переходим на новый стиль дата инженерных задача - наговариваем в микрофон "сделай пайплайн красиво" и ждем пару часов ☕️