В государственную организацию ищем Data Engineer / DWH Engineer для построения централизованного хранилища данных.
Основная задача — объединить данные из разных информационных систем в единый DWH, выстроить надежные ETL/ELT-процессы и подготовить платформу для аналитики и отчетности.
Задачи:
• проектирование и развитие DWH-архитектуры;
• интеграция данных из различных систем и источников;
• разработка и поддержка ETL/ELT-пайплайнов;
• оркестрация процессов через Apache Airflow;
• моделирование данных и построение витрин;
• работа с PostgreSQL и ClickHouse;
• трансформации и тестирование данных с помощью dbt;
• построение процессов Data Quality;
• интеграция и обработка данных через Kafka;
• оптимизация SQL и обработки больших объемов данных;
• работа с Docker, Linux и Kubernetes.
Требования:
• уверенный SQL и Python;
• практический опыт с Apache Airflow;
• PostgreSQL / ClickHouse;
• понимание DWH и ETL/ELT;
• опыт Data Modeling: Fact/Dimension, Star/Snowflake Schema;
• dbt и Data Quality;
• Docker / Linux;
• понимание Kafka и Kubernetes.
Будет плюсом:
• опыт построения DWH с нуля;
• Kimball / Data Vault;
• CDC / Debezium;
• streaming / near real-time pipelines;
• опыт работы с большим количеством разнородных источников данных.
🛠 Стек:
SQL • Python • Airflow • PostgreSQL • ClickHouse • dbt • DWH • ETL/ELT • Kafka • Docker • Linux • Kubernetes💰 Зарплата: $2,500–$4,500
Финальный оффер — по результатам собеседования.
📩 Контакт: @odilovshokh
При отклике желательно кратко указать опыт работы с DWH, ETL/ELT и Data Pipelines.