Давайте познакомимся, пройдите опрос: bit.ly/pm_poll 🔷 Проблема подглядывания - это желание действовать на основе результатов A/B тестирования до его окончания
🔷 Суть проблемы:
Мы видим, что результаты теста в определенный момент стали значимы, и заканчиваем эксперимент, а значимость на самом деле может скакать (речь про тестируемую группу и контрольную)
🔷 Даже если мы периодически смотрим на результаты и действуем не сразу, то p-value увеличивается.
❗️Математический аппарат для проверки результатов тестов был придуман до появления интернета. При регулярной проверке результатов тестирования этот мат.аппарат перестает работать (p-value становится намного больше). Но есть решение в конце поста.
🔷 Как подглядывания влияют на p-value:
- 2 подглядывания с готовностью принять решение о завершении теста увеличивают p-value в 2 раза
- 5 подглядываний в 3.2 раза
- 10 000 подглядываний более чем в 12 раз (что крайность)
🔷 Продуктовый подход к A/B и подглядыванию:
- Фиксируем выборку
- Наблюдаем за результатами, но не принимаем решение
- Продолжаем наблюдать и если разница фиксируется, то, скорее всего, влияние есть (не 1-2 дня)
- Если разница становится неразличимой, то выводы делать нельзя до конца теста
🔷 Важно при A/B:
- Действовать только после окончания теста и интерпретации результатов. Это в целом не очень практично, можно использовать продуктовый подход выше
- Измерять статистическую значимость результатов (напр. частотный подход в теории вероятности из статьи)
- Размер выборки для эксперимента должен быть обязательно определен заранее
- Если p-value оказался выше доверительного интервала, то “добирать” выборку нельзя. Только запустить тест заново.
🎁 Бонус трек:
Отправь пост другу, ему будет полезно, а мне приятно ;)- В статье ссылки на разницу частотного подхода (в статье) и байесовского (Optimizely, Google Experiment)
- Калькулятор для расчёта стат.значимости
- Бесплатное ревью резюме (eng)
- Бесплатная консультация по карьере (рус). Назовите кодовое слово "Консультация в подарок"
- И просто игра "Симулятор стартапа" (тренируем юнит-экономику)
#product_dump @pm_dump