Разбор кейса на тему оценки новой фичи в e-com

Это тестовое задание на позицию продуктового аналитика в один из российский екомов.

Задание #1

Менеджер продукта PDP внедряет новый функционал, функционал заключается в том, что на странице карточки Ювелирных украшений (Колец) появляется ссылка - «Я не знаю размер».

Вопросы:
- Как бы вы оценили полезность такого функционала до её внедрения?
- На какие метрики вы бы смотрели и как их считали?
- Что нужно считать после внедрения этого функционала?
- Что необходимо передавать в аналитические базы данных, чтобы дать ответ менеджеру, что функционал приносит дополнительную ценность?

Задание #2

Вы проводите AB тест по внедрению функционала:
Вариант A - калькулятор для подбора колец.
Вариант B - таблица размеров.
Оба варианта открываются после клика по ссылке «Я не знаю размер».

Допустим вы смотрели:
- На количество добавлений в корзину после использования этого функционала.
- На сумму товаров, добавленных в корзину после использования этого функционала.

и получили результаты. Распределение: 10% - калькулятор, 90% - таблица размеров.

На что, по вашему мнению, стоит опираться при выборе того, какой функционал нужно выкатывать на 100%?

Давайте отвечать по порядку.

1. Как оценить полезность до внедрения 💸

Сначала про механизм.

У кольца есть размер, и покупатель часто его не знает. Особенно если берёт его в подарок.

Следовательно в случае неподходящего размера кольца возможны 2 исхода: клент либо закрывает карточку (конверсия в заказ), либо заказывает наугад и возвращает (доля возвратов), если размер не подошел.

Общий потенциал фичи в таком случае равен:

Потенциал = Потенциал (доп заказы) + Потенциал (снижение возвратов)

, где

Потенциал (доп заказы) = трафик карточек колец × прирост конверсии в заказ × маржа заказа

Потенциал (снижение возвратов) = заказы колец × доля возвратов по причине "неподходящий размер" × снижение доли возвратов × стоимость обработки возврата

прирост конверсии / снижение доли возвратов - это как раз эффект фичи, который мы можем заложить через MDE.

2. На какие метрики смотреть и как их считать

- Целевая метрика: маржа с учётом возвратов на участника эксперимента.

- Барьерная: доля возвратов по размеру.

- Вспомогательная: конверсия в добавление в корзину и конверсия в заказ

3. Что считать после внедрения

Добавление в корзину не равно заказу, заказ не равен выкупу, а выкуп не равен деньгам, пока не прошёл срок возврата.

Для колец это особенно важно.

Фича легко может поднять добавления в корзину и нарастить возвраты, если люди станут увереннее заказывать неверный размер.

Поэтому я бы считал эффект по когортам с закрытым окном возврата.

4. Что передавать в аналитические базы

Логировать один клик по ссылке недостаточно.
Нужны показ ссылки, клик, выбранный размер, добавление в корзину, заказ, выкуп и причина возврата.

Самое важное - связка заказа с тем, пользовался ли покупатель подсказкой.

Без неё не отличить эффект фичи от сезонного роста категории.

5. Какой вариант катить на 100%

В условии спрятана ловушка.

Метрики, которые предлагают для принятия решения, ничего не говорят про юнит-экономику на пользователя.

Я предлагаю не менять целевую метрику и принимать решение по марже

Пишите в комментах, какие кейсы вы хотели бы разобрать.

Рассмотрим их в следующих постах 🍕