Погружайтесь в бизнес

Почти всю прошлую неделю я провел в пиццериях своего города. К нам наконец докатился проект Умный Трекинг. Я сразу же пошел смотреть как им пользуются.

Что такое Умный трекинг (УТ)
Напомню, что УТ - это система батчинга заказов на доставку. Такие есть или должны быть у всех агрегаторов и служб доставки. А так как Додо пицца развивает свою доставку, нам тоже такая нужна.
Сейчас курьеры сами набирают себе заказы, а вообще не должны. Представьте если бы водители в Яндекс Такси видели весь список заказов и выбирали бы кого они повезут и в каком порядке. Посмотрел бы я как вы уедете из какой-нибудь деревни.

Что узнал
Пока я наблюдал за работой системы и курьеров, я выяснил несколько схем обхода нашей системы.
1. Курьеры в моем городе привыкли возить по 2-3 заказа, поэтому они совершают некоторые манипуляции, чтобы система отдавала им группы по 2-3 заказа, даже если в моменте система считает что нужно съездить на один заказ. Они искусственно снижают количество доступных курьеров для системы и получают более плотные группы.
2. Курьеры используют лазейку, которую мы оставили, чтобы не везти заказы в строгом порядке. Помечают первый заказ который не по пути проблемным и им открывается возможность развозить остальные заказы.
Теперь мы будем считать количество этих событий и знать, что в пиццериях с аномально большим количеством этих событий - фродят. Значит мы не можем полагаться на метрики этой пиццерии и делать выводы о качестве работы нашей системы.

А еще я заметил, что курьеры ооооооочень долго собираются на заказ. Недавно еще внедрили новый функционал сбора на заказ из-за чего время могло вырасти. Так вот мы в своей системе закладываем 2 минуты на сборку, а среднее время которое тратят - 7 минут. Поэтому наша система более оптимистична настроена и может отправить курьера на 3 заказа с учетом сбора 2 минуты, а из-за того что курьер собирается 7 минут, можем на последний заказ не успеть. Если бы система знала что курьер будет собираться 7 минут, то мы бы отправили только 2 заказа. Теперь задача на анализ времени сборки заказа ушла в команду аналитики и по результатам будем принимать какие-то меры.

Также услышал что думают о разрабатываемой системе курьеры. Пришел курьер на работу, хотел взять 2 или 3 заказа, но нагрузка на пиццерию - минимальная. Мы предлагаем ему отвезти 1 заказ, он выдает обратную связь: "Что за хуйню вы сделали?". В другой пиццерии сказали что наша система "шляпа". 😏

К чему я это все, как вы считаете, узнал бы я об этом сидя в офисе? Думаю ответ очевиден, не узнал бы. Поэтому, если вы в работе автоматизируете реальный бизнес и у вас есть возможность наблюдать за тем как пользуются вашим софтом (удаленно или на месте) или хотя бы если вы можете сами попользоваться этим софтом (но тут тоже может быть искажение, вы знаете как он работает его логику и она может казаться вам даже вполне хорошой, но ваши пользователи не знают и не должны знать, поэтому этот подход не так хорош), то вам прям категорически, прям катастрофически нужно это делать. Пойдет и то, если вы будете пользоваться своим продуктом. Под шумок напоминаю вам, что у меня по этому поводу есть старая статья на хабре, которая между тем не потеряла своей актуальности.