TGViewer
Борзило Борзило @y_borzilo · 5.6K subscribers
Post #633 1.43K
Мысль про односторонний/двусторонний тест

Если мы используем двусторонний критерий при оценке результата АБ теста и альфа = 5%. То по факту число ложно положительных результатов, которые будут выкачены в прод от числа истинно не значимых будет не 5%, а 2,5%.

Распределение значений статистики (z,t) при верности H0 будет сосредоточено вокруг 0. Гипотеза будет откланяться если статистика попадает в 2,5% левого или правого хвоста. Но левый хвост отрицательный и по сути если статистика попала в него, то на данных мы увидим, что контрольный вариант лучше тестового и в любом случае не покатим в прод тестовый. Получается катить в прод ложноположительные результаты мы будем только когда статистика попадет 2,5% правого хвоста, при верности H0.

Отсюда вывод, что при применении двустороннего теста, доля ложноположительных прокрасов будет 5% при верности H0, но вот доля ложноположительных выкаток в прод будет 2,5%, а не 5%, т.к. отрицательные ложно положительные прокрасы мы в любом случае не покатим.

Согласны с такой логикой или я заблуждаюсь? Я вот что-то ранее об этом не задумывался 🧐
  • 🔥 4
  • 👍 2
More from @y_borzilo
  1. Aug 4, 2026Сегодня мне 36 годиков🤠 Утром сходил на тренировку, скоро буду кушать торт, а вечером про…
  2. Jun 30, 2026Мифы АБ тестирования. Часть 3 Миф 1. Рандомизация создает абсолютно одинаковые группы Реал…
  3. Jun 24, 2026Проанализировал отзывы при помощи ИИ 🤖 Уже накопилось достаточно много отзывов о курсе и…
  4. Jun 22, 2026Артефакты курса по АБ тестам В прошлом посте я анонсировал набор на 6 поток курса по АБ те…
  5. Jun 18, 2026📣 6 поток курса по АБ тестированию 30 июня планирую запуск 6 потока курса по АБ тестирова…
  6. Jun 16, 2026После прохождения 6 занятий статистика стала понятней - сложилась единая картина Еще один…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →