📌 Перестановочный тест

Здраво, давненько я тут не появлялся, надо исправляться 🙂

И на волне повсеместного обсуждения экспериментов, давай поговорим про такую штуку как перестановочный тест. Ещё его называют рандомизационным, точным или пермутационным.

Смысл этого теста в следующем — сначала мы объединяем результаты исследуемых групп, происходит такое логическое воплощение нулевой гипотезы об отсутствии различий в вариантах. А дальше многократно извлекаем группы изначального размера и смотрим насколько они отличаются друг от друга.

Порядок действий такой:

🔵Сливаем все данные в одну кучу;

🔵Случайным образом достаём выборку того же размера что и группа A (без возвращения);

🔵 Из оставшихся данных случайным образом достаём выборку размера группы B;

🔵Тоже самое для групп C, D и т.д., если они есть;

🔵В зависимости от выбранной статистики или оценки, которую считали на исходных данных, пересчитываем её же для новых групп. Это первая итерация перестановки;

🔵Повторяем эту процедуру множество раз для получения перестановочного распределения статистики;

🔵Дальше определяем долю перестановочных статистик, которые превышают наблюдаемую статистику. Это и будет p-value теста.

Если наблюдаемая статистика находится далеко от центра распределения перестановок, это указывает на то, что наблюдаемое различие маловероятно при условии нулевой гипотезы.

В чём соль? Этот тест является непараметрическим, не требует предположения о распределении и работает на маленьких выборках.

Например, его используют чтобы сравнивать продажи дорогостоящих товаров или продажи с долгим циклом, т.е. события, которые происходят не часто и где классический АБ будет крутиться слишком долго.

А ещё его периодически берут для сравнения несуществующих одновременно групп (как в классическом АБ), например, им иногда сравнивают периоды до и после какого-то события.

p.s. Как дела-то вообще? 🙂