Парадокс Симпсона: средняя метрика умеет врать

Simpson’s Paradox - ситуация, где общий результат показывает рост, а внутри важных сегментов всё становится хуже.

Например, выкатываем новый чекаут. В агрегате конверсия выросла с 6% до 6,5%, команда открывает шампанское и катит на всех.
Потом смотрим глубже: у новых пользователей и старых просадка, на iOS просадка. В итоге просто в тест случайно попало больше теплого трафика, который и так покупал чаще.

Защита от ошибки обычная: заранее определить ключевые сегменты, проверить баланс трафика.

Удивляюсь, что попадаются термины, с которыми работал, но не знал их академического названия, а вы?
❤️ структурирует мысли
😈 это всё ЭмВиПи

#pm #product #словарикпродакта