Data Engineer в MAX, Москва
#удаленка #гибрид #senior
Компания: VK
🔹Задачи
-Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
-Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
-Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
-Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
-Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
-Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

🔹Требования
-Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
-Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
-Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
-Использовали Airflow, Luigi или другой оркестратор
-Умеете выбирать технологии для решения конкретных задач
-Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
-Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
-Эффективно общаетесь с людьми, находите общий язык с разными специалистами
Контакты: https://team.vk.company/vacancy/41174/

⬇️ Другие каналы IT-вакансий:
@best_itjob
@it_rab