Data Engineer

▫️Грейд: Middle+/TeamLead
▫️Домен: Производство
▫️Локация: РФ/РБ
▫️Длительность: 6+ мес.

Требования:
Обязательные:
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
- DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis)
- Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты)
- Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3
- CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами
- Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning)
- Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors
- Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку
- Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации)
- Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity)
- Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC)
- Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+)
- Опыт заведения и сопровождения заявок в сервис-деске
- Умение структурировать информацию, работать с требованиями, документировать технические решения
- Английский язык — на уровне чтения и написания технической документации

Будет плюсом:
- Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.)
- Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде
- Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE)
- Опыт работы с CI/CD для data-пайплайнов
- Понимание принципов DDD, event-driven архитектуры
- Опыт работы с Apache NiFi

Откликнуться на запрос: @okabirorin
По вопросам партнерского сотрудничества: @ju_vetta