Selection bias: когда выборка решила за вас
Закрываю гештальт по A/B, кто знает - тот в курсе:)

Selection bias - смещение отбора, которое возникает, когда пользователи в анализе системно отличаются от тех, о ком команда хочет сделать вывод.

Например, запустили новую механику рекомендаций и посмотрели конверсию сегменты: результат отличный! Вот только воспользовались ей самые активные пользователи, которые и раньше покупали чаще.

В итоге команда приписывает продукту эффект, который появился из-за состава выборки, а не из-за продуктового изменения.

Selection bias встречается в опросах, исследованиях, пилотах и A/B-тестах. Например, когда NPS собирают только у постоянных клиентов, анализируют только завершивших onboarding или исключают пользователей, которые перестали пользоваться продуктом после изменения.

С SRM (Sample Ratio Mismatch) есть пересечение, но это разные проблемы. SRM показывает, что участники распределились между группами не в ожидаемой пропорции. Selection bias шире: группы могут идеально разделиться 50/50, но выборка все равно окажется смещенной из-за того, кого включили в анализ.

Хорошая метрика на плохой выборке дает плохое решение с красивым графиком😎

❤️ проверяю состав выборки, осознанно выбираю сегменты
😈 спрашиваю мнение только у выживших

#pm #product #словарикпродакта #ab #analytics