Корреляция и оценка фичей до разработки

В продолжение вчерашнего поста. Регулярно слышу аргумент в пользу развития продуктовой фичи такого формата:

«Конверсия в срезе пользователей фичи (рассрочка, фильтры на поиске, ..) выше среднего по сервису. Поэтому давайте фичу развивать и вовлекать в нее больше пользователей - это увеличит общую конверсию»

Конверсия в срезе пользователей выше означает вообще ничего!)
В этом срезе просто могут быть более горячие юзеры. И если мы заставим других пользоваться фичей, то «горячее» они не станут и конверсия не вырастет (как раз корреляция != причинно следственная связь)

Скажу больше, иногда выгодно растить фичи с меньшей конверсией, чем в среднем. Например, фичи для новичков

Для иллюстрации, пару абсурдных примеров:
- Те, кто пользуются рассрочкой, тратят больше (для ее использования нужно оплатить покупку + рассрочку берут на дорогие товары 😅)
- Те, кто проходят онбординг новичка, покупают реже (новички в целом покупают реже)
- Те, кто чаще сталкиваются и жалуются на баги, имеют конверсию выше (ну они хотя б начали пользоваться приложением!)

В общем, не используйте «в срезе пользователей фичи конверсия выше» как финальный аргумент для завлечения новых юзеров в фичу:)

Можно хотя бы сравниваться не с средним по больнице, а с тем же сегментом юзеров по активности и чеку: тоже не очень честно, но хотя бы что-то

P.S. Вы это.. не забывайте ставить лайки за полезный контент:) 👍
#metrics@ml4value