Что думаешь на счет того, чтобы смотреть динамику p-value по дням? Чтобы как раз не попадать в случайный прокрас
1. А сколько именно дней после сбора наблюдений надо смотреть динамику p-value? 3 дня или 7 или 10? Какой-то внятной стат теории под этим подходом я не знаю. (Если кто-то знает поделитесь плиз)
Вот на скрине методом недолгого перебора нашел комбинацию устойчивого p-value < 0,05 в течении 6 дней в конце симуляции АА теста. Так что наличие плато может быть тоже случайностью.
2. Это увеличивает вероятность ошибки первого рода, т.к. по сути мы пытаемся несколько раз принять решение
3. С учетом того, что мы хотим проводить много АБ тестов, то это может тормозить нашу очередь АБ тестов, а значит замедляет time to market продукта
А у вас какое мнение на счет "смотреть на выход в плато p-value < альфа в течении скольки-то дней"?