🚀 Ищем сильного Data Engineer / Technical Lead на долгосрочный проект в сфере телекоммуникаций.
Проект связан с масштабной миграцией ETL-процессов на Apache/open-source стек и переходом с Informatica PowerCenter на современную архитектуру обработки данных.

📍 Локация: РФ / РБ
🏠 Формат: удалённо
📄 Оформление: только ИП
🕒 График: МСК ±2 часа
💼 Занятость: полная
🎓 Уровень: Senior / Team Lead

Задачи
— Миграция ETL-процессов с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL / хранимые процедуры;
— Разработка и оптимизация ETL/ELT-процессов;
— Написание сложного SQL-кода и хранимых процедур;
— Разработка и отладка DAG’ов в Apache Airflow;
— Работа с потоковой и пакетной обработкой данных;
— Подготовка документации AS IS / TO BE;
— Настройка мониторинга и отслеживание метрик ETL-процессов;
— Автоматизация проверки и контроля качества данных после миграции.

Что важно
Обязателен сильный практический опыт:
— разработки ETL/ELT, включая реализацию значительной части логики на стороне СУБД;
— разработки хранимых процедур и функций, SQL / PL/SQL или аналогичных расширений;
— миграции ETL-систем на Apache/open-source стек;
— миграции с Informatica PowerCenter на Airflow + Greenplum;
— разработки на Python: ETL-скрипты, pandas, интеграции с API;
— разработки и отладки Airflow DAGs;
— работы с Apache NiFi: проектирование потоков, подключение источников, error handling, мониторинг и отладка;
— работы с PySpark: трансформации, оптимизация, партиционирование;
— работы с Hadoop, Hive, Hive Metastore, Parquet и ORC;
— работы с Oracle, PostgreSQL, Greenplum, ClickHouse;
— сложного SQL: оконные функции, joins, оптимизация запросов в highload-среде;
— интеграций Apache-стека с Kafka и BI-системами;
— потоковой обработки данных;
— мониторинга через Grafana / Prometheus;
— построения процессов Data Quality: правила валидации, сравнение результатов миграции, контроль метрик;
— работы с биллинговыми системами.

Будет преимуществом
— опыт системного анализа ETL-процессов;
— опыт управления командой в роли Team Lead от 4 лет;
— умение переводить бизнес-требования в технические спецификации;
— опыт подготовки технической и пользовательской документации;
— создание ER-диаграмм, инструкций и тест-кейсов.

⚠️ Для проекта важен именно hands-on технический опыт: позиция предполагает не только проектирование и управление, но и непосредственную работу с SQL, Airflow, NiFi, Python и целевым Data-стеком.

📩 Если ваш опыт соответствует требованиям - присылайте актуальное резюме ТГ @mblsvsk