Python developer (Airflow / dbt)
#удаленка #офис
Компания: Arenadata
☑️Обязанности:
-Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров;
-Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов;
-Проектирование архитектуры модулей и коннекторов;
-Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных;
-Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты;
-Составление архитектурных документов и технических записок по принятым решениям;
-Защита и обоснование архитектурных и технических решений;
-Участие в code review;
-Ревью пользовательской и технической документации по продуктам;

☑️Опыт работы:
-От 5 лет опыта в разработке на Python, из них значительная часть - продуктовая разработка инструментов для работы с данными;
-Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров;
-Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive;
-Понимание принципов распределённого хранения и вычислений;
-Опыт работы с различными СУБД от 3 лет;

☑️Профессиональные знания, умения и навыки:
-Знание внутреннего устройства Apache Airflow: архитектура, scheduler, executor-ы (Celery, Kubernetes), plugin-система, API провайдеров;
-Понимание архитектуры dbt Core: жизненный цикл выполнения, система адаптеров, протокол взаимодействия с источниками, Jinja-компиляция, манифест и артефакты;
-Уверенное владение Python 3;
-Опыт разработки коннекторов/драйверов к СУБД: знание DB-API 2.0, SQLAlchemy, ODBC/JDBC;
-Знание принципов устройства и функционирования операционных систем семейства Linux;
-Опыт работы с Git;
-Понимание принципов непрерывной интеграции и непрерывной доставки (CI/CD);
-Опыт контейнеризации: Docker, Docker Compose; понимание Kubernetes;
-Декомпозиция задач разработки и умение оценивать трудозатраты;

☑️Будет плюсом
-Опыт коммитов в open source (Apache Airflow, dbt, dbt-адаптеры);
-Опыт разработки собственных dbt-адаптеров под нестандартные источники.
Контакты: career@arenadata.io

Python Job 💬 в Telegram | 💙 в VK | 💬 в Max