🔤🔤🔤🔤
Мы в поиске Data Engineer
• Рейт: до 1900 р/час (если вы работаете с НДС 5% или 7%, то 1900 – уже с учётом НДС, сверху добавить нельзя)
• Грейд: Senior
• Локация: РФ
• Срок привлечения: 6 месяцев
• Формат работы: Удаленно
• Загрузка: Фултайм
Формат оплаты: отсрочка платежа 45 календарных дней

Требования:
• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
• DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
• Data Flow Tools: практический опыт с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
• Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
• CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
• Глубокие знания архитектуры данных и БД: нормализация и денормализация, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
• Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью; опыт написания DAG в Airflow, включая кастомные операторы, hooks, sensors.
• Навыки оптимизации: профилирование процессов, поиск bottlenecks, оптимизация SQL-запросов, настройка ресурсов кластеров под нагрузку.
• Владение Jira и Confluence на уровне confident user.
• Опыт организации хранения и обработки данных для OLAP / OLTP с учётом consistency / integrity, применение паттернов (batch processing, CDC).
• Понимание особенностей и сценариев применения паттернов интеграционных потоков (batch processing, CDC) с учётом 3V+.
• Опыт заведения и сопровождения заявок в сервис-деске.
• Умение структурировать информацию, работать с требованиями, документировать технические решения.
• Русский — свободно, английский — чтение и написание технической документации.

Будет плюсом:
• Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
• Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production.
• Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
• Опыт работы с CI/CD для data-пайплайнов.
• Понимание принципов DDD, event-driven архитектуры.
• Опыт работы с Apache NiFi.

Обязанности:
• Проектирование архитектуры данных: разработка и описание целевой архитектуры хранилищ (OLAP/OLTP), определение моделей данных, выбор форматов хранения и стратегий партиционирования.
• Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов, построение DAG в Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей.
• Стриминг и батч-обработка: разработка стриминговых джоб на Flink и батч-процессинга на Spark.
• Оптимизация производительности: поиск и устранение узких мест, оптимизация медленных SQL-запросов (execution plans, индексы, партиционирование), тюнинг конфигурации движков (Flink, Spark) и БД для минимизации потребления ресурсов (CPU, RAM, I/O).
• Обеспечение качества данных: тестирование трансформаций, проверка целостности и актуальности, нормализация и дедупликация.
• Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB.
• Работа с Jira: ведение задач, управление статусами и связями.

❗Резюме отправлять через кнопку «отправить CV» на русском языке в формате Word
❗Необходимо направлять +- по требованиям вместе с резюме в разделе «Комментарии» БЕЗ ЭТОГО РЕЗЮМЕ РАССМАТРИВАТЬСЯ НЕ БУДЕТ❗
❗При отправке резюме учитывайте возможность на старт в проект Asap
❓Вопросы по вакансии задавать в общие чаты или @AnutaP_24

Id вакансии: 393852