✅Архитектор DWH в крупный банк.

Компания рассматривает кандидатов только из России.
З/п: обсуждается индивидуально.
Формат работы: Офис, Удаленка, Гибрид(Москва, Питер, Сочи, Екатеринбург, Ростов-на-дону);
Уровень позиции: Senior

🔷Задачи:
Построение архитектуры DWH / Data Lake/ LakeHouse для высоконагруженных сервисов и больших хранилищ (500 тб+): ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT), etc;
Выбор форматов хранения: Parquet, ORC, Avro, JSON, таблицы MergeTree, Replicated, ReplacingMergeTree etc;
Участие в проектировании схем витрин под требования BI/DS/etc;
Проектирование слоёв: RAW → STG → ODS → DM → Marts;
Формирование архитектур ETL/ELT процессов с использованием Airflow / Spark;
Организация потоковой передачи данных из прод-сервисов (Kafka);
Настройка data quality checks и алертинга;
Формирование CI/CD пайплайнов для данных (git + tests + deploy);
Архитектурный надзор команд, валидация предлагаемых изменений, подготовка рекомендаций со стороны архитектуры;
Документирование решений и применяемых подходов;
Консультирование команд по стандартам, регламентам и архитектурным особенностям;
Участие в формировании, защите и реализации Data-стратегии функциональной области.

🔷Обязательные требования:
Опыт работы Lead Data Engineer /Архитектор DWH / DataOps от 3х лет;
Знание ClickHouse на уровне архитектора (MergeTree / Replacing / Collapsing);
Понимание архитектуры DataLake / LakeHouse;
Опыт построения пайплайнов: batch, micro-batch, stream;
Опыт работы с Airflow или аналогами;
Знание SQL уровня проектирования витрин и оптимизации;
Опыт настройки каталога данных: DataHub, OpenMetadata;
Опыт управления метаданными, версионированием схем.
Опыт с облачной инфраструктурой;
Хорошие знания *nix;
Знание технологий: Docker, Kubernetes.

Отклики ждем @fr_rec