TGViewer
Channel Public Channel
Архитектор Данных

Архитектор Данных

@analyticsfromzero

Алексей, архитектор данных

Большие данные и облака.

Для связи @alexbelozersky
Subscribers
1.89K
Photos
328
Videos
26
Links
255

Showing posts older than #150 · Back to latest

Older Posts 20 shown
Post #147 443
Архитекторский Стрим - Выпуск 1-й.

Сегодня в 17:00 настраивайте ваши радиоприемники на канал "Данные на стероидах" ( @sterodata ), где будет первый архитекторский стрим!

С Вадимом Беловым, руководителем разработки платформы данных X5 поговорим про последние тренды в развитии технологий огромных данных и Лейкхаусы.

Задавайте вопросы в комментариях под постом, и топовые мы обязательно обсудим!

До встречи!
  • 🔥 7
  • ❤ 1
  • 👏 1
Post #146 401
Плейлист видео про Лейкхаус DLH #2

1. Предыдущий плейлист

2. Мой небольшой доклад про хайп вокруг DLH и что мы теряем если не используем эту технологию.

3. Плейлист Iceberg Summit 2025. Осторожно - много часов! Но заглавный доклад рекомендую посмотреть - там анонсы фичей v3
В числе фичей
- Шифрование на уровне таблицы - позволяет хранить в S3 шифрованные данные
- Тип данных VARIANT - решение проблемы полу-структурированных данных, стримов событий, JSON
- Тип файлов Гео
- Оптимизации DELETE
и другие

4. Анонс DuckLake

Приятного просмотра!
Telegram Архитектор Данных Плейлист хороших видео про Лейкхаусы 1. Вебинар - Поднимаем Lakehouse на основе Trino. Старался раскрыть мотивацию, зачем нужен лейкхаус и какая его ниша применения. Во второй половине - воркшоп, как сделать лейкхаус в облаке за 20 минут. 2. Доклад от…
  • ❤ 6
  • 👍 4
  • ✍ 2
  • 🔥 1
Post #145 371
ETL vs ELT

Изрядное упрощение ситуации, но по факту так и есть.
  • 👏 13
  • 🔥 7
  • 👍 4
Post #144 353
South Hub

С 10 по 15 июня буду на South Hub. Крутейший ивент в Красной Поляне для ИТ-Лордов.

От VK Tech веду игру по развитию компании как эксперт в AI 😎
  • 😎 8
  • 🔥 2
  • 👏 2
  • ✍ 1
Post #143 342
Хакатоны это то еще развлечение. Работа после работы.

Страдают от натуги организаторы, страдают эксперты, страдают участники. Когда страдают все трое, значит, вечеринка удалась. 😎

С Samsung был очень крутой. Участники оптимизировали прохождение того самого отраслевого бенчмарка. Подробный отчет есть на Хабре от крутейшего архитекторв Паши.
Telegram Данные на стероидах Хакатон Samsung IT Academy Hack 2025: обзор задачи от VK Tech В прошлом месяце IT Академия Samsung провела уже второй хакатон IT Academy Hack 2025. Темой в этот раз стала оптимизация и работа с большими данными. VK Tech выступил индустриальным партнером…
  • 👍 6
  • 😁 2
  • ❤ 1
  • 🔥 1
Post #142 334
Крик души о том как выглядят приложения от больших компаний.

И ничего с этим не сделаешь - так экономически эффективнее. Пользователь не уходит из приложения, на нем можно срубить дополнительную копеечку, компонентная и кодовая база переиспользуется эффективнее.

С точки зрения аналитики как раз тут и нужна та самая Huge Data, потому как в каждом разделе, в каждой фиче и микро-фиче есть своя воронка, есть свои ARPU, свои АБ-тесты. Все эти кофеварки, микроволновки, и даже софа внимательно следят за вами, пока вы идете мимо.

Сегодня ваш заход в Озон/ВБ/Авито/Тинек/СБОЛ генерирует по 20-50 мегабайт джсон-логов, которые потом парсятся и раскладываются в витрины. Все складывается безумные объемы данных.

Пользователи думают, что приложения распухли во много раз за 5 лет, в то время как аналитика, которую они отправляют, говорит: «подержи мое пиво».
  • 🔥 8
  • 👍 7
  • 👌 4
Post #141 309
Офис данных (сущ.) - Группа людей, осознанно и целенаправленно развивающая стек обработки данных.

Без такой организации рискуем оказаться в ситуации, когда инструменты куплены, люди наняты, процессы сделаны, но культура данных стагнирует, а фундаментальные проблемы не решаются.

Не обязательно отдел/департамент/руководитель, но обязательно кто-то способный ответить на вопросы:
- какие типовые проблемы есть?
- какой план борьбы с ними?
- какая в целом стратегия?
- как повысить эффективность обработки данных?

А в идеале:
- как превратить данные из центра затрат в центр прибыли?
  • 👍 6
  • 👏 3
  • ❤ 2
Post #140 429
Отвечу на вопрос от уважаемого подписчика

1️⃣ Нет никакой сложности оркестрации DBT + Airflow. Есть подготовленные DBT-операторы, которыми очень приятно пользоваться.

2️⃣ Dagster модный, вот про него и пишут. 😎 Лично им мало пользовался, все же Airflow стандарт, но не предвижу никаких проблем или особенностей в оркестрации DBT проекта и на Dagster тоже. Что в лоб, что по лбу.

3️⃣ Правильно - как удобнее. В не сильно большой команде удобнее в монорепо DAGs + DBT. Тогда в одном коммите видны все изменения пайплайнов.

Когда команда больше, то может быть удобнее разделить. Одна команда делает DBT проект для общего пользования, другие подключают его через DBT Packages. Или когда один AF оркестрирует несколько DBT проектов: для лейка(-хауса) и для КХД с разным стеком.

4️⃣ Не, DBT не для миграций.

5️⃣ На кластере Airflow в любом случае должна быть синхронизрованная кодовая база на всех мастерах и воркерах.

Спасибо за вопрос!
  • ✍ 6
  • ❤ 4
  • 👍 4
  • 🔥 2
Post #138 658
Нашел самый полезный курс для Архитекторов.

От alma mater %)
  • 😁 20
  • 🤣 3
  • 🫡 3
  • ❤ 1
Post #137 388
Лучший на всем Западе облачный Гринплам

Бывают моменты, когда хочется подвести черту под некоторыми этапами.

Два года мы с командой делали лучший облачный Гринплам.

Что нам удалось достигнуть
1️⃣ Мы поняли, что этот не самый простой для облачной среды сервис можно заставить хорошо работать. И что конкретно для этого надо сделать.
2️⃣ Мы разобрались с процессами поддержки на нескольких уровнях. От дежурных к внутренним экспертам и далее до вендора. Несколько раз влетали в серьезные аварии, один раз поднимались из бекапа. Было непросто и в техническом, и в человеческом плане, но у нас получилось выйти на новый этап.
3️⃣ Сделали простой но эффективный мониторинг ГП. Не бог весть что, но кастомизируемо и шлет алерты по типовым проблемам вроде отвала сегментов, забитии дисков, очередях в ресурсных группах - там, где 90% проблем. И по 90% проблемам мы стремимся к проактивной реакции на возникающие проблемы. Принцип Парето в действии.
4️⃣ Вместе с клиентами проработали, как правильно применить Гринплам по назначению. Как известно, от СУБД до КХД еще очень большая дорога, и мы научились ее проходить, а где-то даже и пробегать.

Если Лейкхаус это пока что платформа для экспериментов, то Гринплам - отраслевой стандарт. Машина тяжелая, но хорошая, убойная.

Хочу сказать огромное спасибо всем, кто был с нами на этом пути.
🧗‍♂️ Клиентам - за терпение
💯 Вендору (Аренадата) - за отличный продукт и поддержку в трудных ситуациях.
😎 Команде - за буйство в хорошем смысле. Вашу храбрую дружину, предпочту я многотысячному войску!

Хочется углубить наши изыскания, изучить лучше и глубже. Добавить больше полезных сервисов. Мы точно будем этим заниматься.

🚀🚀🚀🚀🚀🚀
Но в то же время, реальность требует развиваться в новые технологии. Для меня это Лейкхаус и аналитические приложения стека LLM.

Всем побед!
  • 👍 12
  • ❤ 3
  • 👏 3
Post #136 323

Forwarded from Некстджен и Усиление+ (Yuri Krupenin)

Хозяйке на заметку: облачный бэкап файлов абсолютно бесплатен, если использовать файловую систему WhenFS, которая будет хранить ваши данные в гугл-календаре, кодируя их base64-чанками и запихивая в названия встреч. Это лучший подход, я уверяю вас.
  • 😁 5
  • ✍ 4
  • 🤝 3
  • ❤ 2
Post #135 396
  • 👍 3
Post #134 471
А бывает и наоборот
  • 😁 17
  • ❤ 3
  • 👍 3
Post #133 435
Ситуационный центр данных

То, чего как правило нет.

Должен отвечать на вопросы:

⁃ Какой сейчас статус прогрузки данных?
⁃ Какие инциденты активны? Какого типа: мисы по SLA, ошибки качества, нарушения контрактов, недоступность источников. Кто ответственный и какой текущий статус?
⁃ Потребление ресурсов ХД, ЕТЛ и других систем данными различного типа, качества и различных владельцев
⁃ Текущие Request For Change
⁃ Текущие контракты на поставку данных и история их (не)исполнения

Но как правило хорошо если есть графана с данными о статусах пайплайнов из Airflow да таблица размеров объектов в КХД.
  • 👍 8
  • ❤ 5
  • 💯 3
Post #132 355
Последняя линия ментальной обороны (2/2)

Как последняя линия ментальной обороны я достаю одно базированное видео. Оно довольно старое. Возможно вы видели его на ютубе лет 10 назад. Это речь на выпускном Техасского университета от одного из старших выпускников, высокорангового американского "лампаса". Кто разбирается в форме, сможет сказать точно, кажется, это двухзвездный адмирал. Пропускаем американизмы про изменения мира к лучшему, америакнскую мечту, обязательную вставку про дайверсити и переходим к базе.

В базовой части адмирал делится, как он проходил подготовку в лагере морских котиков SEAL. И успешно прошел, что очень полезно для карьеры. Он дает не то чтобы сверх много деталей, но сразу же вспоминается и "Цельнометаллическая оболочка", и "Майор Пейн". 90% рекрутов не выдерживают физических страданий и ментальных унижений и уходят в процессе подготовки.

Несколько банальных солдафонских истин:

1️⃣ Бывают ситуации, где ты неизбежно попадаешь под раздачу. Неважно, насколько ты хорош, неважно, что ты все делаешь правильно, неважно насколько стараешься. (Пример с инспекцией формы)
2️⃣ В сложном деле ты неизбежно где-то серьезно облажаешься. И тогда в твой и так адский график добавляется еще дополнительная тяжелая работа, боль и страдания. (Пример с "цирком"). Надо научиться не ломаться ментально от неберущихся авралов.
3️⃣ Людей оценивают по результатам (Шлюпочная команда). Результат часто не коррелирует с внешним видом или первым впечатлением.
4️⃣ Тебя и правда могу сожрать акулы. В серьезном деле ты столкнешься с опасными ситуациями или опасными людьми. Страх этих встреч надо преодолеть.
5️⃣ В самый ответственный момент надо быть лучшей версией себя. (Минирование судна)
6️⃣ Порой единственное что отделяет успех от неудачи, это надежда и вера в свет в конце туннеля.

Может все это и кажется супер-банальным в моем вольном переводе-пересказе, адмирал рассказывает образнее и красочнее.

Из видео я черпаю две мысли.

Первая. Как бы тебя сейчас не плющило, это ничто по сравнению с лагерем морских котиков. Причем, в лагере все находятся добровольно и в любой момент могут его покинуть. Одна из фишек буткемпа в том, что в любой момент можешь положить каску на плац, позвонить в колокол, и все прекратится. Никто никогда не скажет дурного слова - все знают, что это звздец.
Еще раз, люди добровольно берут на себя куда большие страдания, чем ты сейчас.
В мире есть вещи, ради которых стоит расплющиться. Может и твоя история, от которой ты так картинно изнемогаешь, одна из них?

Вторая. В любом большом деле бывают случайности не в твою пользу. Залеты и прилеты неизбежны и часто несправедливы. Местами надо просто смириться с этим и перетерпеть.

Мне комбинация этих супер-простых мыслей часто дает глоток воздуха, мой внутренний бомбист утихает на всемя. Раз в полгода - самое то.

Само видео тут.
YouTube Admiral McRaven addresses the University of Texas at Austin Class of 2014 Remarks by Naval Adm. William H. McRaven, B.J. '77, ninth commander of U.S. Special Operations Command, Texas Exes Life Member, and Distinguished Alumnus. Admiral McRaven offered advice for changing the world from his 36 years of experience as a Navy SEAL:…
  • 👍 9
  • 🤨 3
  • 😁 2
  • 👎 1
  • 🔥 1
  • 😱 1
Post #131 300
Последняя линия ментальной обороны (1/2)

Знакомо ли вам чувство крайней эмациональной усталости? Это когда угнетают проблемы, которые ты в спокойном состоянии легко бы решил. Или когда бомбишь от ситуаций, которые того явно не стоят? Некоторые еще на людей начинают бросаться, когда коллеги и близкие того не заслуживают.
Я работаю с энтерпрайзом, так что мне это состяние вполне знакомо 😄

Обычно борюсь пешими прогулками. Находим в календаре час-полтора (а 80% встреч можно скипнуть с минимальным ущербом) и иду бродить вот просто по дворам рядом с офисом или домом. Мозг человека вещь удивительная, и час без рутинной нервотрепки и месенджеров творят чудеса.

Истории, с которых полыхал буквально полчаса назад, делятся в голове на категории:
а) вообще не стоят внимания и ни на что не влияют,
б) можно отложить, срочность и важность надумана,
в) понятно, как делать или к кому обратиться за помощью.

Чтобы было одновременно важно, срочно и притом непонятно как - это все-таки редкость.

В большинстве случаев простой прием с прогулкой работает, и можно жить дальше.
Но случается и так, что прогулки по дворам не помогают. Все настолько плохо, что простые методы разгрузки не спасают. Так жестко навалилось, что эмоциональные патроны кончились.
  • 👍 10
  • ❤ 4
  • 🤔 1
  • 💯 1
Post #130 340
Стримить данные в S3

В контексте развития лейкхауса часто возникает мысль - а было бы круто стримить данные сразу в S3! (Еще бы лучше прямо в айсберг формат с прогоном через метастор, но это мечты-мечты)

Шорт-лист вариантов, как это можно сделать.

1. S3Sink коннектор Kafka Connect.
https://github.com/Aiven-Open/s3-connector-for-apache-kafka
2. S3Stream для AutoMQ. AutoMQ - совместимый с форматом Кафки Cloud Native стриминг
https://www.automq.com/docs/automq/architecture/s3stream-shared-streaming-storage/overview
3. WarpStream - целая платформа вокруг этой идеи. Куплена Конфлюентом.

Honorable mentions

Обещания от Кафки KIP-1150 - disk-less topics. Звучит круто, подождем еще годочка три.
https://cwiki.apache.org/confluence/display/KAFKA/KIP-1150%3A+Diskless+Topics

TableFlow - подключаем топики Kafka как объекты в Iceberg Metastore. Не пуш, а пулл, но сгодится. Похоже, доступно только для проприетарного Confluent.

Кто стримится в лейк - расскажите как именно!
GitHub GitHub - Aiven-Open/s3-connector-for-apache-kafka: Aiven's S3 Sink Connector for Apache Kafka® Aiven's S3 Sink Connector for Apache Kafka®. Contribute to Aiven-Open/s3-connector-for-apache-kafka development by creating an account on GitHub.
  • 👍 8
Post #129 418
Post #128 453
Архитектор Данных LLM Text to SQL Работаем над технологией конвертации аналитического запроса на естественном языке в SQL и далее в ответ. Используем демо базу авиаперелетов от Postgres PRO. Пока по моим наблюдениям такой бот максимально напоминает стажера-аналитика. На…
Разобрался джун.

Раз на раз не приходится. Все что делает агент, надо перепроверять. А чтобы перепроверять, надо разбираться в датасете.
  • 👍 7
  • 😁 2
  • ❤ 1
Post #127 427
LLM Text to SQL

Работаем над технологией конвертации аналитического запроса на естественном языке в SQL и далее в ответ. Используем демо базу авиаперелетов от Postgres PRO.

Пока по моим наблюдениям такой бот максимально напоминает стажера-аналитика. На фото типичная ошибка джуна: перепутал время заказа билета с временем перелета. Только на джуна ты наорешь, и он исправится, а LLM так и останется глупеньким. Ну и самостоятельную работу джуну поручать нельзя.
  • 👍 8
  • 😁 5
  • ❤ 2
  • 👏 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →