Под капотом Яндекс.Такси

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

Яндекс Go разрабатывает платформу управления данными (DMP) как сервис для офлайн- и near real-time-обработки данных. Владимир Верстов постарался рассказать, какая мотивация нужна для создания собственного ETL-инструмента, как ETL и Data Warehouse превратить в DMP, какие проблемы возникают в процессе разработки и как мы их решаем.

🎓 Разработка платформы управления данными. Доклад Яндекса

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно.

Задавшись вопросом, какую из двух методологий выбрать, мы пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.

🎓 Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

Yandex Taxi Data Driven пройдёт 3-го апреля, регистрация уже открыта

На нашей ежегодной встрече для аналитиков, мы, как и всегда, не будем делиться «историями успеха». Вместо этого мы честно расскажем, с какими задачами столкнулись и на какие грабли успели наступить. Вот какие кейсы рассмотрим.

Платформа для A/B-тестирования. Во что вам обойдётся автоматизация экспериментов?
Сергей Масленников, аналитик Яндекс Go, расскажет, как мы освободили тысячи аналитико-часов, разработав систему АБТ.

Как внедрение дорожного графа в инфраструктуру такси помогло снизить время подачи машины
Артём Бондаренко, team-lead группы аналитики Go, поделится опытом внедрения дорожного графа прямо в сервис — вместо дорогого и низкоэффективного обращения по API к стороннему сервису маршрутизации.

Switchback в Яндекс.Еде. Как мы улучшаем алгоритмы балансировки спроса и предложения
Максим Степанов, аналитик Яндекс.Еды, расскажет про оптимизацию алгоритма динамического ценообразования, тонкостях работы со switchback-экспериментами и почему A/B-тестирование здесь не панацея.

После выступлений мы разобьёмся на группы и поштормим над реальными аналитическими задачами. Задачи будут и простые, и сложные. Те, на которые мы знаем ответ, и те, которые ставят в тупик нас самих.

В этом году YTDD пройдёт в формате онлайн. Чтобы получить приглашение, надо выполнить небольшое отборочное задание — так мы проверим знания участников и убедимся, что всем будет комфортно участвовать в дискуссии и брейншторме.

Регистрация открыта до 15 марта, оставить заявку на участие можно здесь: https://taxi.yandex.ru/action/ytdd

Yandex.Go Data Driven Backstage

Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).

На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO.

Highly Normilized Hybrid Model
Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, Евгений и Николай пришли к неожиданному ответу: выбирать надо не между подходами, выбирать надо лучшее из двух подходов.

Как мы разрабатываем DMP для Yandex.GO
Владимир рассказывает про мотивацию, которая нужна для разработки собственного ETL-инструмента, про превращение ETL и DWH в DMP. Из доклада вы узнаете, какие проблемы возникают в процессе разработки DMP и про опыт их решения.

P.S.
Наши ребята засветились в еще одном интересном докладе Максима Стаценко Обзор технологий хранения больших данных как эксперты.

P.P.S.
А еще DMP Такси нанимает

У меня есть две огненные вакансии про BI и Табло в Яндекс.

📈 BI-аналитик в Яндекс Go
Это новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.

Позиция уровня мидл/джун. Нужны классные навыки создания отчётов, сильный SQL, питон как преимущество.

Руководитель — Андрей Кармацкий, которого я считаю нереально крутым специалистом по визуализации и сложным аналитическим инструментам.
Описание вакансии на сайте


📊 Эксперт по визуализации в Маркет
Это позиция уровня тим-лида или мидла, готового к росту. В Маркете есть большая установка Табло и необходимо создать центр компетенций по визуализации. По сути, такая же позиция как у меня в Такси — нужно управлять BI-системой как продуктом. При этом на первом этапе нужно сделать примеры классных отчётов руками, провести обучение, наладить процессы организации контента на сервере, создать задачи на развитие инфраструктуры.

Здесь понадобятся как сильные навыки управления проектами и постановки целей, так и отличные знания визуализации и Табло. Моя команда на первом этапе поможет с примерами того, как это построено у нас.

Руководитель — Максим Левко, отвечающий за развитие DWH и инфраструктуры аналитики в Маркете.
Описание вакансии на сайте


Обе позиции в Москве, но с крутым кандидатом готовы обсудить и другие города. Зарплата обсуждается после интервью. В Яндексе классный соц. пакет, приятные коллеги, премии, опционы и просто интересно.

Присылайте мне в личку CV и небольшой рассказ про себя, смогу разместить вас в рекомендательной системе, или откликайтесь на сайте.

Готов ответить на вопросы — @rbunin
#вакансия

Новое эссе на GoPractice!

“Требования к аналитикам данных на разных уровнях в Яндексе”

Женя Козлов, который последние 8 лет строил аналитику в Яндекс.Такси и Яндекс.Маркете, рассказывает о том, как в Яндексе думают про уровни аналитиков данных (специалистов и менеджеров).

Данное эссе поможет вам:
- Сформулировать четкие требования к аналитикам на разных уровнях.
- Структурировать процесс найма и роста аналитиков данных.
- Определить уровень своих сотрудников (или свой) и подготовить план для их роста и развития.

https://gopractice.ru/data_analysts_levels/

Обсудить прочитанное можно в чате Ask Kevin! https://t.me/askkevin
Женя также делится своими мыслями в канале https://t.me/SecretOfNoodleSoup

Вчера «выступил» на DataFest 2020, конференции сообщества Open Data Science. Рассказал и показал на практике, как мы используем в Такси стайлгайд и темплейт-книгу в Tableau.

"Еда мужская, 1 кг" – в новой статье Рома Халкечев рассказывает про то, как мы предсказываем скорость приготовления вашего заказа рестораном, опираясь на вес заказа. Простой, но робастный подход, который позволил назначать курьера, чтобы он прибывал ко времени, когда еда будет готова.

Курьер меньше ждет в ресторане => эффективность его работы выше => одна доставка стоит нам и пользователю дешевле.

Юнит-экономика должна быть позитивной. А не так, как это сейчас принято в фудтехе =)

https://habr.com/ru/company/yandex/blog/507448/

В 2016 году я был свидетелем следующей ситуации. Наш руководитель службы поддержки пришел к (тогда ещё CMO) Дане Шулейко и говорит: "Если мы продолжим расти в том же духе, то за следующие полгода мне нужно будет нанять 100 агентов поддержки – подтверди бюджет на найм". Даня подумал и ответил, что, пожалуй, подтвердит найм 5 человек: 4 инженеров и 1 проджект-менеджера, – а SLA остаются прежними. Так мы вступили на путь автоматизации рутинной работы.

В 2018 году, когда первые низковисящие фрукты оптимизации были уже сняты, мы начали использовать машинное обучение в этих задачах.

На сегодняшний день в Яндекс.Такси:
– 83% сообщений на первой линии поддержки разбирается роботом,
– 93% проверок биометрии водителей осуществляетcя алгоритмом полностью автоматически,
– 32% проверок фотографий автомобилей обрабатывается с помощью ML.

ML читает чаты между пользователем и водителем, слушает звонки, проверяет брендинг с камер, распознает усталых и отвлекшихся водителей и многое многое другое.

Если вы хотите так же, подключайтесь на бесплатную онлайн–конференцию DataStart, которая состоится 30 июня, – на ней будет делиться опытом непревзойдённая Таня Савельева, руководитель команды анализа неструктурированных данных.

https://datastart.ru/online-summer-2020/?utm_source=yataxi&utm_medium=cpc&utm_campaign=speaker

Две мысли:
1. Иногда продавать что-то за 0 рублей может быть выгодно.
2. Вот вам отличный пример, как аналитики, умеющие глубоко копать, помогли принять верное решение, в то время как неверное решение лежало на поверхности и манило своей простотой.

Коллеги из Яндекс.Драйва поделились внутренней кухней бесплатного тарифа. Его иногда можно увидеть в местах скопления свободных машин.

P. S. Научный подход в ценообразовании - это то, что делает одни компании на нашем рынке эффективнее других. Очень круто, что Драйв делится наружу подобными результатами.

https://zen.yandex.ru/media/id/5d1b6d4f45e5d100aea5df16/bezumcy-vseh-umnei-kak-analitika-vyvozit-mashiny-5ed7748a2884893419ed861b

Беспилотные автомобили – будущее, к которому мы можем прикоснуться уже сейчас, достаточно пару минут постоять на тротуаре вдоль Комсомольского проспекта в Хамовниках. Пассажиров они пока не возят, но вполне себе объезжают полуостров в беспилотном режиме под присмотром специально подготовленного водителя.

18 мая в 20:00 у вас будет возможность позадавать вопросы про беспилотники и науку, с этим связанную, Боре Янгелю. Боря – инженер-исследователь, между работой в Яндексе успел поработать в Microsoft. В Яндексе работал над "мозгами" Алисы, а сегодня занимается алгоритмами предсказания дорожной обстановки для беспилотников.

Ребята из ruvds организуют прямой эффир с сессией вопросов и ответов. Эфир будет в их инстаграмме. Видео трансляции так же выложат на YouTube.

P.S. На фото - Боря. Он увлекается парашютным спортом.

Подробности по ссылке:
https://ruvds.timepad.ru/event/1313474/

Мы в Такси подходим к отчетности как продукту. Каждый отчет должен помогать принимать решения и отвечать на вопросы. И, начиная проектировать дашборд, мы в первую очередь думаем над сценариями его использования. И когда нибудь мы подробно расскажем об этом =) А сегодняший пост немного уже.

Пару лет назад мы начали использовать для репортинга Tableau. Сегодня это портал, в котором создают отчеты >140 аналитиков. За 2 года опубликовано 1368 дашбордов. Чтобы эти отчеты выглядели приятно и, что более важно, с бесшовным UX для потребителей, мы сделали гайдбук по проектированию отчетов. На вчерашнем Moscow Russia Tableau User Group Рома Бунин, руководитель команды визуализации данных, поделился деталями.

Выступление техническое и будет в большей степени интересно тем, кто уже использует Tableau, – и решает похожую задачу в своей компании.

P.S. А ещё Рома ведёт классный блог и одноименный канал про визуализацию данных @revealthedata

https://youtu.be/BYo6AhRRAaE?t=4289

ML Party

🤖 12 мая в 18:00 пройдет очередной онлайн-митап ML Party. В программе выступления про новые возможности CatBoost и про то, как Алису научили упаковывать поисковую выдачу в короткий ответ. А Илья Ирхин расскажет о влиянии коронавируса на ML-проекты Такси, Еды и Лавки.

https://events.yandex.ru/events/ml-party-12-05-2020

Сложность ML проектов обычно заключается не столько в придумывании факторов и непосредственно процессе обучения, сколько в реализации обученных моделей в продакшене: чтобы все факторы были доступны в рантайме и всё работало быстро.

В этом докладе Рома Халкечев рассказывает про инфраструктуру, которая позволяет быстро реализовывать ML-проекты в Яндекс.Такси.

https://www.youtube.com/watch?v=IDHKt1N2IvU

Время — деньги. Как мы учились точно рассчитывать стоимость поездки

Сейчас сложно представить, но когда-то мы все ездили, не зная заранее, сколько в итоге будет стоить поездка. Фича, которая поменяла рынок. И вот как мы её делали в далеком 2017.

https://habr.com/ru/company/yandex/blog/344954/

Как мы учили искусственный интеллект отвечать на вопросы в поддержку

Такси – сильно операционный бизнес: многие косты – переменные и масштабируются с ростом бизнеса. Поэтому мы инвестируем в оптимизацию бизнес-процессов, уменьшаем их удельный кост на поездку. Хороший пример такой оптимизации – служба поддержки.

В этой статье Таня Савельева раскрывает внутреннюю кухню с применением ML на неструктурированных данных, deep learning – и, как это ни странно для статьи про data-science, организационные сложности подобных проектов.

https://habr.com/ru/company/yandex/blog/493666/