213. Метрики, бенчмарки в custdev-исследованиях

Канвас CDDC включает четыре блока.

Вторым блоком модели является Метод проверки гипотезы, т.е. описание того, как как именно гипотеза будет проверена, включая метрику для проверки и ее бенчмарк.

Выбрать метрику для проверки очень важная задача. Неправильная метрика равна непроверенной гипотезе. Например, если мы собираемся продавать наш продукт за деньги, то метрика «количество бесплатных пользователей» не подходит. В этом смысле итоговая продуктовая гипотеза это именно продажа товара за деньги, а не количество бесплатных пользователей, а нужная метрика в этом случае — это выручка.

На промежуточных этапах проверки идеи продукта используются иные метрики. Например, для мобильных приложений можно использовать метрику CPI (Cost Per Install), т.е. стоимость одной установки мобильного приложения, которая расчитывается как бюджет на рекламную кампанию, поделенный на количество установок приложения на телефоны пользователей.

Лучше выбирать реальные метрики, хотя без воспринимаемых, порой, не обойтись.

Но что использовать в качестве бенчмарка, т.е. с каким показателем следует сравнивать?

Выбор бенчмарка задача еще сложнее выбора метрики. Например, метрика CPI в 60 рублей — это хорошо или плохо? Т.е. достаточно ли нам этого? Считаем гипотезу подтвержденной или нет?

В сухом остатке: выбрать метрику при тестировании гипотез — важная задача; выбрать бенчмарк для каждой метрики — еще более важная задача.

#метрики@custdevlab #cddc@custdevlab