Tech Lead (команды "Данные DWH" и "Развитие DWH")
#гибрид #офис #lead
Компания: Сбер
Локация: Москва
Обязанности
разрабатывать и поддерживать проектный DWH в облачной экосистеме
разрабатывать и оптимизировать объекты данных и пайплайны обработки данных/ETL на Python / Scala в своей зоне ответственности, а также помогать другим командам развивать объекты и пайплайны в их зоне ответственности
развивать и поддерживать библиотеку (framework) DWH
обеспечивать целостность и развитие архитектуры DWH, а также выполнение основных технологических политик в части DWH
быть одним из драйверов развития архитектуры и инфраструктуры проекта
Требования
-понимание принципов модели распределенных вычислений
-знание принципов построения DWH и Data Lake, знание основных методик построения DWH (Data Vault etc.)
-опыт в поиске, обработке и построение витрин данных при помощи Spark и SQL
-опыт промышленной разработки на стеке Scala/Java/Python
-понимание принципов работы протоколов безопасности (SSO, Kerberos) и основных методов и протоколов обмена данными в сети (REST, SOAP, gRPC и др.)
-опыт разработки приложений с использованием инструментов Spark Streaming, Hbase, Spark, Kafka, Hive, Impala, Hue и т.д.
-хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server
-понимание подходов к организации разработки (CI/CD, DevOps), практический опыт работы с инструментами Jenkins, SonarQube, TeamCity, Anisble, Git (BitBucket/GitLab)
Будет плюсом:
Практический опыт с облачными инструментами работы с данными, такими как Snowflake; Delta Lake; AWS EMR/Serverless EMR, Athena; Huawei Cloud MRS, DLI и аналоги
Практический опыт построения корпоративного или проектного DWH
Условия
работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны
можно работать в офисе или в смешанном графике, гибкое начало рабочего дня
конференции и обучение на корпоративных или вендорских курсах за наш счёт
отличная ДМС, которая распространяется на ваших членов семьи
льготные условия по ипотеке и кредитам
материальная помощь и социальная поддержка
корпоративная пенсионная программа
офис в бизнес-центре м. Маяковская
Контакты: https://rabota.sber.ru/search/4207339/