На работе все больше беру на себя data engineering задач по написанию потоков данных.
Раньше было достаточно написать SQL-запрос и документацию, которые передавались инженеру и уже он оборачивал их в python-код или другой ETL-инструмент. Сейчас цель такая, чтобы наша команда стала максимально независима от команды инженеров DWH, тогда все наши решения сможем реализовывать самостоятельно с понятными приоритетами, сроками выполнения задач и будущей поддержкой и развитием.
P.S.: Самое сложное с чем пока сталкиваюсь - это интеграция своего кода в текущий репозиторий. Иногда кажется, что проще написать свою маленькую функцию, чем переиспользовать уже написанные части кода с множеством ненужных тебе аргументов.
Подумываю взять какие-нибудь курсы именно backend python-разработчика или менторство у крутого специалиста, чтобы лучше понимать структуру кода и перенимать лучшие практики
Post #487
3.64K

- 🔥 34
- 👍 7
- ❤ 1