🏛
Data Engineer / DWH EngineerВ государственную организацию ищем
Data Engineer / DWH Engineer для построения централизованного хранилища данных.
Основная задача — объединить данные из разных информационных систем в единый
DWH, выстроить надежные ETL/ELT-процессы и подготовить платформу для аналитики и отчетности.
Задачи:• проектирование и развитие DWH-архитектуры;
• интеграция данных из различных систем и источников;
• разработка и поддержка ETL/ELT-пайплайнов;
• оркестрация процессов через Apache Airflow;
• моделирование данных и построение витрин;
• работа с PostgreSQL и ClickHouse;
• трансформации и тестирование данных с помощью dbt;
• построение процессов Data Quality;
• интеграция и обработка данных через Kafka;
• оптимизация SQL и обработки больших объемов данных;
• работа с Docker, Linux и Kubernetes.
Требования:• уверенный SQL и Python;
• практический опыт с Apache Airflow;
• PostgreSQL / ClickHouse;
• понимание DWH и ETL/ELT;
• опыт Data Modeling: Fact/Dimension, Star/Snowflake Schema;
• dbt и Data Quality;
• Docker / Linux;
• понимание Kafka и Kubernetes.
Будет плюсом:• опыт построения DWH с нуля;
• Kimball / Data Vault;
• CDC / Debezium;
• streaming / near real-time pipelines;
• опыт работы с большим количеством разнородных источников данных.
🛠
Стек:SQL • Python • Airflow • PostgreSQL • ClickHouse • dbt • DWH • ETL/ELT • Kafka • Docker • Linux • Kubernetes💰
Зарплата: $2,500–$4,500Финальный оффер — по результатам собеседования.
📩
Контакт: @odilovshokhПри отклике желательно кратко указать опыт работы с
DWH, ETL/ELT и Data Pipelines.