В материале выше разобрано бакетное преобразование метрики – этот метод очень часто применяется в промышленном A/B-тестировании. В материале коллег из ВКонтакте разбираются выборки длины 5000, попробуйте увеличить размер выборки, например, до 10000, а затем поварьируйте количество бакетов (скажем, от 10 до 100 с шагом в 10), чтобы проследить, как с изменением количества бакетов меняются (и меняются ли) чувствительность теста и контроль \alpha за false positive rate. Кроме того, над результатами бакетного преобразования можно запустить тест Манна-Уитни. Проверьте, как будут меняться чувствительность и контроль в зависимости от количества бакетов для теста Манна-Уитни. Также стоит поварьировать скошенность распределений просмотров и истинных CTR. Посмотрите, используя полученные данные, в каких пределах работает бакетное преобразование.

Если вы смогли самостоятельно провернуть все действия выше – поздравляем, вы освоили новый метод! Если нет – вебинар состоится 17 июня в 19:00.

Еще раз приносим свои извинения, и спасибо, что вы нас поддерживаете!