Забавно что статья Кохави на KDD 2024 - False Positives in A/B Tests - практически тоже самое что и The reproducibility of research and the misinterpretation of p-values от Roayl Society of Open Science. По странному стечению обстоятельств прочитал их подряд и сразу заметил

И там и там считают FPR, и там и там использую prior. Результаты и там и там сходятся. Надо сказать, что статья Кохави чуть более прикладная и ссылается на статью от 2017 года.

Если кратко. Допустим 10 из 100 аб тестов у вас успешны и стат значимы в нужную сторону. При альфе 0.05 в среднем 5 тестов из 100 будут стат значимыми всегда, допустим 2.5 будут показывать в нужную сторону. Значит 1/4 ваших стат значимых и хороших аб тестов - будут ложными

Пошел искать статьи от 2018 года, ждите меня на KDD 2025.
#ArticleReview