TGViewer
Channel Public Channel
DON'T STOP AND CODE

DON'T STOP AND CODE

@start_py

Мой путь в программировании
#python

Для связи: @avagners
Subscribers
100
Photos
62
Videos
2
Links
123

Showing posts older than #480 · Back to latest

Older Posts 20 shown
Post #479 102
Решил читать научные статьи на актуальные для меня темы.

Вот статья, которая знакомит с проблемой маленьких файлов на HDFS и способами ее решения.

https://doi.org/10.1016/j.jksuci.2021.09.007

#HDFS #hadoop
  • 🔥 1
  • 👏 1
  • 🤨 1
Post #478 110
Друзья, как у вас дела? Как успехи? 💪

У меня были контрольные снимки. Вроде всё хорошо. Доктор обрадовал тем, что разрешил постепенно подключать левую руку во время работы за ноутбуком! 🎉🎉🎉
  • 👍 4
  • 🔥 2
  • 🥰 2
Post #476 131
Травмы рук выбили меня из колеи. Я сделал перерыв во всех своих обучениях. Оставил только работу. Мне и на работе много чего приходится нового изучать.

- на курсе "Инженер данных" буду переводиться в другой поток, который меня догонит в конце июля. То есть перерыв беру почти на 2 месяца. К этому времени, надеюсь, можно будет снять артез на левой руке. На текущий момент завершил 55% курса.

- если вы помните, я параллельно изучаю ООП. В рамках занятий мне нужно спроектировать и реализовать прототип игры 2D-платформера. Осталось сделать реализацию классов.
Тоже, в связи с травмой, не подходил к решению данной задачи. Постараюсь доделать до какого-то минимального уровня как можно скорее.

При этом хочу отметить, что мои занятия по изучению ООП не прошли зря. Чувствуется значительное развитие мышления. На работе не теряюсь в коде. То есть уже чувствуется результат. Прям рад, что "проклюнулась" очередная способность) да, ещё цыплёнок, но уже что-то может)

---
P.s. на работе была встреча 1:1 по итогам месяца работы. Руководитель дал оценку, что я оказался "выше ожиданий". Также отметил, что я здорово влился в команду.

Получать такую оценку приятно)
  • 🔥 6
  • ❤ 1
Post #475 120
Что-то на вертикалианском)🧐
  • 🤔 3
Post #474 120
Для меня этот год является годом открытий. 😌

1) Пошёл в зал. Занимаюсь с тренером. Результат огонь🔥🔥🔥.

2) На работе выдали macbook pro 16 на M1. Впервые пользуюсь продукцией эпл. 👨‍💻

3) Прошёл курс массажа. Поправил хорошенько спину. 💪

4) Сломал 2 руки. Попробовал ДМС. Услуги в частной клинике на высоте. Никогда прежде не использовал ДМС, хотя мне все предыдущие работодатели их оформляли. ДМС понравилось)😅

Вот такие дела)
  • 🔥 4
  • 🤔 1
  • 🙏 1
Post #473 101
Уровни изоляции транзакций👨‍💻
  • 👍 3
Post #472 119
​Друзья, теперь я работаю в Райффайзенбанк! 🔥🔥🔥
  • 🔥 7
  • 👏 2
Post #471 123
Перевалило за 1000 коммитов на github. =)

Кто не подписан, давай подпишемся друг на друга.🤓

https://github.com/avagners
  • 🔥 4
  • 🎉 1
Post #470 128
Супер инфа по оптимизации SQL🔥🔥🔥
  • 👌 5
Post #469 109
#словарик

Redis - хранилище данных, применяемые как очереди сообщений;

Apache Kafka - очереди сообщений с соответствующим базам данных уровнем надежности;
  • 👍 3
Post #467 113
Как вам такое рабочее место?😍
  • 🔥 3
  • 🥰 1
  • 👌 1
Post #466 99
Нашел великолепный ресурс по Data Engineering: https://dataengineering.wiki/

Обязательно к изучению!
  • 🔥 4
Post #465 93
MindMap Инженера данных👨‍💻
  • 👍 2
  • 👌 2
  • ❤ 1
Post #464 95
#мысли

Главная задача специалиста по работе с данными: "Помогать бизнесу. Мы помогаем бизнесу быть эффективнее!".

Я бы сказал, что это относится не только к инженерам данных, но и ко всем разработчикам. Мы пишем код не ради кода. Не соревнуемся в сложности решения той или иной задачи, а всегда помним про главную задачу.

Бизнес зарабатывает - мы получаем ЗП. Все довольны.

И при поиске работы мы должны рассказывать не про скиллы, а про ценность, которую мы смогли внести в бизнес.

Важно понимать, как именно работа проделанная дата инженером влияет на то, что происходит с бизнесом.
  • 👍 3
  • 🔥 3
  • ❤ 2
Post #463 87
Путь задачи в Airflow
  • ❤ 2
  • 👍 2
Post #462 91
Архитектура компонентов Airflow
  • 👍 2
  • 🤔 1
Post #461 82
Проектирование ETL процесса👨‍💻

1) Сколько слоев данных в хранилище?
- чаще всего встречаются слой стейджинга и витрины данных, реже — слой детальных интегрированных данных;
- стейджинг нужен для хранения данных в формате системы-источника, витрина данных — для хранения данных в виде измерений и фактов;
- для каждого из слоёв создается отдельная модель данных;

2) Какой тип загрузки больше всего подходит?
- инкрементальная загрузка - обрабатывает только ту порцию данных, которая изменилась по отношению к прошлой загрузке, тем самым сокращая объём обрабатываемых данных;
- полный пересчет - в большинстве случаев применяется для обработки небольших объёмов данных;
- архивная загрузка - загрузки архивных данных за прошедшие периоды;

3) Какие алгоритмы преобразования нужно применить?
- маппинг, или S2T - это документ, который отражает трансформации полей источника на поля приёмника;

4) Как данные связаны между собой и какую последовательность загрузки выбрать?
- измерения всегда загружаются в первую очередь;
- факты загружаются после измерений, так как используют их данные;
- проверить таблицы с измерениями, чтобы понять, нет ли в них связей между собой;

5) Проектируем систему восстановления.
- в случае сбоев процессы должны продолжать свою работу с момента падения;
- нужно настроить проверку статуса загрузки — загружался ли объект ранее;
- нужно настроить сохранение статуса загрузки — в случае успешной загрузки об этом должна создастся запись;
  • 🔥 4
Post #458 86
Друзья, делаю 2D игру на Python.

Для закрепления и отработки ООАП решил сделать игру-платформер.

Буду использовать игровой движок https://github.com/pythonarcade/arcade.

Цель: сделать игру на 20+ классов.

Пожелайте мне удачи. =)
GitHub GitHub - pythonarcade/arcade: Easy to use Python library for creating 2D arcade games. Easy to use Python library for creating 2D arcade games. - pythonarcade/arcade
  • 👍 4
  • 🔥 2
Post #457 68
  • 🔥 3
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →