Дата-инженер в Дата-сервисы VK Tech, Москва
#удаленка #офис #middle #senior
Компания: VK

☑️Задачи
-разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
-оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
-мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
-помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
-проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
-участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.

☑️Требования
-опыт разработки и поддержки ETL-процессов на Python + Airflow;
-уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
-понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
-опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
-знание Git (ветки, коммиты, pull requests, code review);
-умение читать и анализировать чужой код.

Откликнуться

Python Job в Telegram | в VK | в Max