Дашборд показывает +25%. Что проверить, прежде чем нести цифру руководителю

Казалось бы, цифре на дашборде можно верить: ее посчитала система, а не человек. Но на дашборде уже не данные, а информация. Кто-то решил, какие события считать, за какой период и как их сложить, и ошибка возможна на любом из этих шагов.

Представим, что команда сервиса доставки запустила в приложении кнопку «Повторить заказ». Через две недели на дашборде видно, что заказов стало на 25% больше, чем за две недели до запуска. Выглядит как успех, о котором пора рассказать руководителю. Уже стоит ставить встречу в календаре?

Прежде чем это делать, проверьте три вещи:

1. Из чего сложилась цифра
Разложите рост на части: новые и повторные покупатели, число заказов и средний чек, заказы через новую кнопку vs все остальные способы заказа. Если прирост произошел за счет новых пользователей, то кнопка повторного заказа здесь, скорее всего, ни при чем.

2. Что показывает другой источник
Сверьте дашборд с данными, которые считаются иначе, например с оплаченными заказами в платежной системе. Дашборд может считать созданные заказы вместе с отмененными. Или после релиза событие о заказе стало отправляться дважды. Тогда рост есть только в аналитике, а не в деньгах.

3. С чем вы сравниваете
Сравнение «больше, чем две недели назад» не отделяет эффект кнопки от зарплатных дней, праздников или акции, которую в это же время запустил маркетинг. Нужна контрольная группа: пользователи, которым кнопку пока не показали, или тот же период прошлого года.

Руководителю полезнее видеть вывод с оговорками, чем красивую цифру, но ничем не подкрепленную: указывайте, что подтвердилось, чего пока не знаем и как это проверим.

@productmindset