Middle/ Senior Data Engineer

Вилка middle: 190 - 310 т.р. (+ годовая премия)
Вилка senior: 310 - 450 т.р. (+ годовая премия)

Город: Москва (гибридный график/ офис метро Кутузовская)

Sber AI Lab занимается как научной деятельностью, так и разработкой наукоемких технологий в области финансов, экономики, рекомендательных систем и проч. В лаборатории активно разрабатываются фреймворки для машинного обучения, значительная часть которых доступна в open source. В Лаборатории существуют направления: инструментов машинного обучения, AI в медицине, прикладного машинного обучения, технологий глубинного обучения, на которые мы ищем специалистов Data Engineers уровня Middle и Senior.
Middle/ Senior Data Engineer https://sberailab.huntflow.io/vacancy/data-engineer-spark-developer

Чем вы будете заниматься:
• Разработка пайплайнов по обработке данных.
• Подготовка датасетов из больших массивов сырых данных, первичный анализ данных.
• Выявление артефактов в данных;
• Инженерная часть разработки наукоемких технологий в части инжиниринга данных;
• Взаимодействие с прикладными командами банка по внедрению технологий, разработанных лабораторией;
• Организация инфраструктуры хранения данных для исследований

Требования
• Опыт работы с Apache Spark обязателен
• Хорошее знание Python (в т.ч. опыт работ с какими-то из Python фреймворков по подготовке данных (Pandas, NumPy, SciPy, PySpark),
• Опыт разработки от 1 года.
• Высокая техническая грамотность (алгоритмический базис)
• Понимание основ machine learning или deep learning
• Знание Java/Scala или С++ будут плюсом
• Знание SQL
• Опыт работы с MPP GreenPlum будет преимуществом
• Умение анализировать научную литературу, разбираться в незнакомой теме
• Желание заниматься инженерной и инфраструктурной стороной проблемы
• Scripting (bash/powershell) обязателен, поднимать и настраивать сервера в облачных средах часто приходится самостоятельно
• Опыт разработки под Linux среды (Ubuntu, RedHat) обязателен
• Знание систем контроля версий, опыт коллективный разработки. У нас Git (BitBucket внутри сети банка и GitHub/GitLab в остальных случаях)
• Опыт с системами версионирования данных типа DVC является плюсом

Оставить свой отклик можно по ссылке. Задать вопросы по вакансии можно рекрутеру в телеграм: @Oxana_Y