дата инженеретта

Как мониторить подвисшие сенсоры?

Начнем с того, что в Airflow есть несколько состояний для таски:

⭐️none - пока отдыхает
⭐️scheduled - должна быть запущена, все зависимости выполнены
⭐️queued - ждет свободный воркер
⭐️running - работает
⭐️success - успешно завершилась
⭐️restarting - перезапустили
⭐️failed - упала
⭐️skipped - пропущена
⭐️upstream_failed - упала предыдущая таска, которая нам нужна
⭐️up_for_retry - упала, но будет перезапущена
⭐️up_for_reschedule - сенсор будет перезапущен
⭐️deferred - отложена и ждет триггер
⭐️removed - удалена из дага после запуска

Подвисшие сенсоры уходят в статус deferred. У нас они имеют такой нейминг - mytask_awaiting_somedag. Я написала себе запрос, который выводит:

⭕️название дага, на который смотрит сенсор
⭕️количество сенсоров, которые ждут этот даг
⭕️общее количество подвисших сенсоров

И так можно сразу понять, на какой даг смотрит наибольшее количество сенсоров, и посмотреть причину

with sensored as (
  SELECT 
    substr(
      task_id,
      strpos(task_id, 'awaiting_') + length('awaiting_')
    ) as sensor,
    dag_id
  FROM airflow.public.task_instance
  WHERE state = 'deferred'
)
select
  sensor,
  count(1) over(partition by sensor) as sensor_cnt,
  count(1) over() as total_cnt,
  dag_id
from sensored
order by 2 desc, sensor, dag_id;

Как я чуть не попалась на мошенников

Предыстория

👢В конце августа в Казани проходил «Сенной базар», где локальные бренды выставляют свою продукцию. Мне очень понравился один бренд из Тюмени, одежда ручной работы, и я некоторое время общалась с его владелицей. Потом она не прочитала мой вопрос, я написала еще раз через пару недель - снова не прочитала. Но я уже запланировала покупку, поэтому решила написать в чат тг канала

Краткое продолжение

Мне пишут с аккаунта «<Название бренда> Chat». Акк создан в апреле 2025, сам бренд тоже относительно новый, около 1,5 лет. Общение очень вежливое, со скобочками и сердечками в меру. Ниже просто тезисно:

Что я хотела заказать? Не видели мое сообщение, продублируйте
❓Первый звоночек - можно же найти переписку со мной? ну ок, далеко листать или пишет ассистенка

Какой размер нужен?
❓Второй звоночек - размер для платья, которое шьется под заказ? сомнительно, но окей, вдруг есть какие-то заготовки, замеры все равно нужны

Пришлите данные для доставки. Я в ответ спрашиваю про сроки - до недели
❓ Третий звоночек - сшить под меня и доставить до недели? ну…. по-до-зри-тель-но. пока допустим, учитывая предыдущий вопрос про размер

Соориентировать ли по стоимости? Оплата сразу
❓Четвертый звоночек - я смотрю на цены и понимаю, что они раза в 2-3 дешевле, чем я видела в инсте и на оф сайте. "Реальная себестоимость должна быть еще ниже тогда? Они больше, чем в 4 раза что ли делают надбавки? Или это персональная скидка за личное знакомство и большое количество вещей?"

Тут мне пишет владелица и говорит, что чат со мной случайно оказался в архиве
❓Финальный колокол - я смотрю на список чатов и вижу, как параллельно пишут в два из них

〰️〰️〰️〰️〰️

Выяснилось, что к бренду этот акк никакого отношения не имеет. Я их довела до ссылки на оплату, по СБП, в течение 10 минут. Мне прислали длинную ссылку, я перепроверила на фишинг и вирусы раз 5 на разных сайтах)) Открыла в инкогнито, увидела огромный куар с инструкцией отсканировать с телефона - и заблочила акк

Еще я вспомнила, что тестила функцию с чатом канала один раз, и там была плашка DIRECT рядом с названием, но это было еще в начале лета. К слову, в профиле мошеннического акка не было никаких ссылочек. Я вот теперь сомневаюсь, а можно ли вообще писать от имени чата, а не канала?

В общем, я не слышала про такую схему и уже готова была подтверждать после выяснения моих вопросов, если бы владелица не написала в тот самый момент

Я что-то упустила?
Берегите себя 🧡

Data Internals

Я сходила на конфу "Data Internals", где потусовалась еще с парочкой де админов🕺 Как здорово, когда есть люди, которые могут выбить тебе проходку🙂 Мы послушали про дата каталоги, self-service инструменты, про clickhouse, lakehouse, сходили на два круглых стола и покушали)

Активности вне докладов были прикольными: кроссворд и ребусы на английском(!), головоломки из металла, соревнование на реакцию, разбрасывание типов файлов по ведрам (в прямом смысле!) и даже гадание на таро🙂

С таро был прикольный момент. Я задала вопрос на тему перспектив развития в компании. Мне выпала карта "The Data Priestess" - главная по данным, порекомендовали идти в лиды)) Предположительно в течение года. Не знаю как насчет года, но в плане обучения я двигаюсь в правильном направлении)

Через несколько часов я решила снова туда подойти и задать вопрос по поводу развития личной жизни. Мне снова говорят сдвинуть карты и вытащить одну. Я четко понимаю, что мне хочется вытащить вторую сверху. Я ее выстаскиваю - и там снова жрица!😂 В общем, надо все брать в свои руки, тогда будет четенько)

По итогу активностей я обменяла баллы на термокружку, бутылочки, походную розетку, парковочную визитку (хотя у меня нет тачки😁) и светильник-облачко)

Народу было немного, около 400 человек. Конфа как таковая не очень интересная: были как лайтовые доклады, так и очень низкоуровневые, круглые столы тоже нас не всколыхнули( Только задала парочку вопросов на докладе про self-service оркестрацию в лемана тех - единственное, что более-менее заинтересовало, потому что у нас нечто очень похожее (картинку архитектуры решения докину в комменты)

Я еду на смартдату!!!

На днях приснилось, что смартдата будет во Франции, в Париже🇫🇷 И я во сне думаю: "Она же уже через две недели, а у меня нет визы. Дадут мне так быстро и вообще дадут ли?? 😱😱 Надо поставить напоминание на завтра, чтобы не забыть прямо с утра разобраться с этим"

И через мгновение я уже вижу себя в Париже. Вспоминаю, что надо быть аккуратным со своими вещами. Я вешаю сумку через плечо, крепко держу телефон в руках, солнечный день, навстречу много людей. Я иду к трамвайной остановке…

🧳Вообще путешествия мне часто снятся. Я даже начала в какой-то момент все детали записывать в заметках)

Так я путешествовала уже 32 раза, из самого прикольного:
⏺пешком перешла границу Москва - Испания
⏺пожала руку Байдену
⏺бежала с партизанами из польской деревни
⏺посетила вымышленную страну на территории Буркина-Фасо и Ганы
⏺из-за надвигающейся катастрофы в Африке переплыла на другой остров
⏺искала в Париже сестру подруги, которую в детстве отдали в другую семью (у нее нет сестры)

🕰 А по смартдате уже выбрала и добавила себе в календарь по одному докладу. Закину в комменты те, которые мне больше других приглянулись, довыбираю уже на месте

Хокку про DE

Когда я заводила канал, нужно было придумать к нему описание. И я почти сразу подумала про хокку - короткое и лаконичное

А сейчас мне захотелось погенерить хокку на тему де, и вот что получилось) По-моему, очень поэтично 📒

Про облака

Как-то общалась с одной компанией про облака, про индустрию и вообще за жизнь. И тут я поняла, что вообще ничего не знаю/не помню про зарубежные сервисы 😅

Диалог начался с классического вопроса. Если я во время ответа вкидывала какой-то новый термин - мы сворачивали с пути и начинали копать в эту сторону

Какие сервисы знаете в AWS, Azure, Google Cloud с точки зрения данных?
В чем особенность Amazon Redshift?
Опенсорсная ли Cassandra?
Hadoop умер?
Почему есть Hadoop в облаке?
On-prem vs Cloud?
Какая разница работать с КХ на железе или в облаке?
Что стоит учесть при переезде в облако?
Почему облака дороже, если нужны средства на хранение, кондиционирование, обслуживание своих серверов?
В чем успех Databricks?
Нужно ли идти в Lakehouse?
Уйдут ли все компании в Lakehouse?
В каких случаях лучше иметь DWH, Data Lake, Lakehouse?
Что будете выбирать, стартуя свой бизнес сейчас?
Почему на Data Lake не стоить строить нормализованную архитектуру?
Бизнес-пример с использованием Anchor?

Вопрос с Databricks меня конкретно поставил в ступор)) Но тут на некоторые вопросы нет правильных и неправильных ответов. Важно - что ты думаешь

CTO Meetup

Сходила я тут на сходку крутых людей. На видео слева направо:

🟣CTO, VK Tech
🟣Lead Architect, МТС TechGov
🟣CTO рисков, Альфа
🟣CTO, Авито SafeCom
🟣Head of developer experience, Х5 Tech

Транслировалось все на 4 камеры, около 80 мест в зале

Из терминов, которые я запомнила:

🔴Shift Left - подход, когда продукт тестируется как можно раньше, чтобы сэкономить денюжки потом

🔴Кто-то, наоборот, предпочитает Shift Right - если у клиента вопрос/что-то сломалось, он может сам починить по плейбукам без обращения в L1 (первая линия поддержки)

🔴3 Амиго - принцип, когда встречаются 3 человека (можно чуть больше) с разным контекстом (бизнес, разраб, тестировщик) и договориваются о проблеме, целях, шагах до начала разработки

🔴BRD (Business Requirement Document) - документ бизнес-требований, формальное описание проекта (зачем нужен продукт, решаемые проблемы, доход/потенциальные потери)

Еще запомнила забавную историю, как у клиента был настроен воркфлоу по цвету писем в почте. И когда цвета поломались, весь процесс встал

Время пролетело незаметно, но, честно говоря, я мало что поняла😅 Успокаиваю себя тем, что не понимать лучше, чем не интересоваться

Из прикольного по офису: сверху двери уборной есть красные/зеленые огонечки, бумага в 4 слоя👍 На кухне хлопья, шарики, апельсины, яблоки, сухомятки и безлимитная кола/фанта/спрайт от Evervess и липтон

Уезжая, 5 минут ходила туда-сюда по переходу, не могла найти вход в метро😆 Оказалось, что там есть выход, но нет входа