#middle #гибрид #удаленка #офис

Wildberries
Data Engineer Ценообразование
Опыт работы: от 3 лет
Формат работы: гибрид, удалённо или офис (Москва)

☑️ Чем предстоит заниматься
-Проектировать и разрабатывать пайплайны загрузки данных. Делать это оптимально в зависимости от потребностей команд потребителей
-Проектировать загрузку данных, раскладку по слоям, витрины в ClickHouse: выбор движка таблиц, ключей сортировки и партиционирования, ключей шардирования и репликации
-Оптимизировать запросы и хранение: разбираться, почему запрос медленный или таблица растёт быстрее ожидаемого, и чинить это
-Разрабатывать и поддерживать DAGи в Airflow: идемпотентность, ретраи, бэкфиллы, зависимости между задачами
-Обеспечивать качество данных: проверки по полноте и консистентности, сверки между системами, алертинг и мониторинг пайплайнов
-Работать напрямую с продуктовыми командами и аналитиками: разбирать требования, договариваться о контрактах данных, объяснять ограничения и предлагать варианты

☑️ Наши пожелания к кандидатам
-Опыт работы с ClickHouse (это ключевой навык для данной позиции. Необходимо уметь идентифицировать проблемы на кластере, понимать как работать с распределенной БД, как оптимально собрать пайплайны, чтобы не убить кластер)
-Уверенный SQL, работа с большими объёмами (у нас есть таблицы 50+ Tb)
-Владеете Python для разработки пайплайнов, а иногда даже бекенда на FastAPI
-Опыт работы с Apache Airflow (опыт разработки и эксплуатации DAGов в проде, понимание идемпотентности и бэкфиллов)
-Опыт работы с Apache Kafka (понимание модели (топики, партиции, консьюмер-группы, оффсеты, семантика доставки), опыт построения загрузки из Kafka в хранилище)
-Опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги), включая инкрементальную загрузку и работу с изменениями данных

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab