Тимлид команды дата-инженеров в Маркет
Москва, Санкт-Петербург
гибрид
вилка 300 000 - 450 000 руб.

Мы команда инженеров данных, и наш продукт — Data Warehouse, хранилище данных, которое мы строим для нужд бизнес-подразделений. Наши пользователи — как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.

Наше хранилище данных сейчас одно из самых крупных в России. К нему предъявляются высокие требования по надёжности, и это ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Какие задачи вас ждут
- Руководить командой дата-инженеров от трёх человек
- Формировать пакет технических инициатив и управлять им
- Выявлять неэффективность в существующих процессах и оптимизировать их
- Проектировать структуру хранения данных
- Участвовать в развитии фреймворка поставки данных
- Сопровождать разработанные процессы ETL
- Участвовать в найме сотрудников в команду

Мы ждём, что вы
- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
- Проектировали DWH: слои, модели хранения данных, процессы ETL

Будет плюсом, если вы
- Понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP
- Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++
- Умеете работать в командной строке систем Unix-like: Linux, macOS

Откликнуться
Контакт в тг @Aaasya1