Yandex.Go Data Driven Backstage

Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).

На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO.

Highly Normilized Hybrid Model
Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, Евгений и Николай пришли к неожиданному ответу: выбирать надо не между подходами, выбирать надо лучшее из двух подходов.

Как мы разрабатываем DMP для Yandex.GO
Владимир рассказывает про мотивацию, которая нужна для разработки собственного ETL-инструмента, про превращение ETL и DWH в DMP. Из доклада вы узнаете, какие проблемы возникают в процессе разработки DMP и про опыт их решения.

P.S.
Наши ребята засветились в еще одном интересном докладе Максима Стаценко Обзор технологий хранения больших данных как эксперты.

P.P.S.
А еще DMP Такси нанимает