Data Engineer / Рекомендации
#удаленка
Компания: Wildberries

🔹Что нужно делать
-Поддерживать пайплайны на Greenplum;
сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом;
-заниматься интеграциями новых источников;
-подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts.
Взаимодействие с владельцами источников на уровне технических требований;
-участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage.

🔹Какой опыт и знания нужны
-Владеете опытом с Airflow как оркестратором;
-имеете работы с Hadoop (Spark/Yarn/Hdfs);
-имеете работы c Greenplum или другими MPP-системами;
-работали с Trino как query engine.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab