Ещё один день из жизни Senior Data Engineer.

Пост в двух частях -- в первой реальный день из практики, во второй -- что встретилось за последние пару месяцев и тоже могло произойти.

"Специалисты моего уровня получают 4000$...5000$".
Опыт в разных ролях в data-мире в районе 5 лет. Образование не очень профильное -- инженер-автоматизатор, учился в ОмГТУ и ИТМО.
Стек - Python, Airflow, Hadoop, Hive, Docker (и ещё с десяток тулов, про которые сегодня не упомяну).

🥱 1/2, один из недавних понедельников

10:00 - 10:30. Начало дня. Раскачиваюсь после выходных, на которых до ночи кодил пет-проект. Понял, что совсем не успел отдохнуть, и сегодня буду не очень продуктивен.

10:30 - 11:30. Начало рабочего дня. Зашёл в джиру и вспомнил статус задач, которые остались с пятницы. Выписываю в блокнот тезисно, что скажу на дейли. Зашёл в битбакет и сделал merge pull-request'a, который подготовил в пятницу. Новые правки в команде не принято выкатывать на прод перед выходными -- приятно.

11:30 - 12:00. Дейли. Делимся новостями сначала по рабочим задачам, потом -- по нерабочим. Классическое "что сделали, что планируем сделать, есть ли блокеры". Один из сотрудников ушёл в отгул и не передал дела, придётся писать в телегу или вызванивать. Но хорошо, что не в загул ушёл :)

12:00 - 12:30. Помог коллеге отдебажить странное поведение в Airflow -- dag_run отмечен как успешный, а таски не имеют статуса (белые кружочки вместо квадратов). Созвонился, чтобы прояснить проблему и выполненные шаги, потом ушёл на самостоятельный разбор и асинхронное обсуждение. Как оказалось, ещё такая визуализация у новых тасок, которые добавляют в ранее запускавшийся даг.
Clear не помог, прошёлся по UI логам в разрезе task instances, dag runs, logs -- ничего проблемного не выявил, таски не запланировались шедулером. Затем зашёл по SSH на ВМ с airflow, открыл директорию с логами и по-grep'ал их по ключевым словам. При помощи Chat GPT, официальной доки, airflow.cfg и логов определил, что такое поведение вызвано настройкой max_active_runs в пределах дага -- два инстанса запустились параллельно, а разрешён только один. Дождались выполнения текущего, запустили даг через консоль с указанием в виде параметра нужного execution_date, и всё пересчиталось.

12:30 - 14:30. Доработал поясняющую диаграмму для пользователей python-сервиса интеграции, который я поддерживаю. Для прояснения некоторых моментов воспользовался поиском по содержимому репозитория с кодом в VS Code. С полчаса думал над тем, как это лаконично отобразить, ещё полчаса отрисовывал в Draw.io, но результатом доволен. Актуализировал сильно устаревшее описание в конфлюенсе, раскрыл неочевидные моменты. Закрепил с Warning'ом грабли, которые собрали пользователи за последние месяцы. Поделился ссылкой с командой и аналитиками. Приятно, что такие таски начали ставить в спринт, закладывая сторипоинты.

14:30 - 16:30. Сходил на обед в соседнее кафе, затем -- ко врачу. Указал в календаре, что буду занят в эти часы, но никому об этом отдельно не писал. Так не поставят внезапную встречу и не будут ждать немедленного ответа. На фоне думал над пет-проектом и переписывался с менти.

16:30 - 17:00. Созвонился с коллегой по его рабочей задаче, чтобы уточнить постановку по доработке смежного сервиса. Обсудили уже пройденные шаги -- оказалось, что я был не в курсе последних апдейтов, и сервис уже готов. Сидел на диване и гладил кошку во время звонка, чтобы немного сменить обстановку.

17:00 - 17:30. Понял, что в текущем состоянии ничего по задачам уже не сделаю. По спринту продвинулся, в целом доволен. Написал текущий пост и закрыл ноутбук.

17:30 - 00:00. Настраиваюсь на вечерний лад. Обычно по вечерам стараюсь выходить куда-то из дома или проводить время с девушкой. Открываю местную афишу, выбираю мероприятия на вечер и иду заниматься бытовыми делами перед ивентом.

#data #de #data_engineer

Вступай в сообщество | Расти в IT | Присылай историю