✅DATA ENGINEER в ЦИАН.
Компания рассматривает кандидатов только из России

💰З/п: обсуждается индивидуально.
Формат работы: Удаленка, Офис, Гибрид
Уровень позиции: Senior
Опыт работы: От 3 до 6 лет.Стек: Python 3.9/3.10, Spark 3, Airflow 2.5, NoSQL DB (Redis, Cassandra), Kafka, Scala (есть небольшой процент задач по Spark Streaming).

🔷Задачи:
Работа над платформенным решением по обработке данных для внутренних проектов;
Injection data (raw/parsed layers). Загружаем данные из kafka во внутреннее хранилище для пользователей;
Airflow интеграция. Своя библиотека для унификации работы с airflow;
Feature store. Развиваем свой для улучшения метрики ttm проектных команд (ds);
Другие активности: data catalog, functional testing tool, миграция в k8s;
Обработка данных и сбор статистики для продуктов команд;
Подготовка данных для ML;
Разработка streaming pipeline для продуктовых команд;
Поддержка решения в PROD;
Поддержка уже существующих решений.

📌 Обязательные требования:
Hadoop от 3-х лет;
HDFS (какие типы нод за что отвечают, как работает Erasure Coding);
Spark;
Python;
Kafka.

🏡Мы предлагаем:
Удаленку или офис (Москва, Санкт-Петербург);
ДМС с первых дней работы (стоматология, госпитализация, полис ВЗР);
Ежегодная компенсация спорта;
5 day off в год помимо основного отпуска.Отклики с резюме ждём @Ritttka1