Последовательный критерий хи-квадрат для проверки SRM

TL;DR
Адаптирует классический критерий хи-квадрат для последовательного применения и позволяет обнаруживать SRM до завершения эксперимента.

Почему обсуждается?
На конференции мат. центров России я выступил с докладом о случайных блужданиях. Результат, связанный со сходимостью статистики хи-квадрат к квадрату процесса Бесселя, позволил построить последовательный тест для обнаружения Sample Ratio Mismatch (SRM).

Проблема
Нужно принимать решение о наличии SRM без ожидания конца эксперимента и накопления всей выборки.

Предположения
1. Мы зафиксировали размер выборки N.
2. Распределение пользователей по группам случайное, сетевые эффекты отсутствуют.

Решение
Фиксируем:
– размер выборки N,
– α-spending функцию α(t).

Здесь α(t) - накопленная вероятность ошибки на выборке размера N t.
Свойства α-spending функции:
– α(0) = 0,
– α(1) - уровень значимости,
– α(t) - неубывающая функция.

Во время теста:
1. Добавляем наблюдение — номер группы, в которую попал новый пользователь.
2. Обновляем наблюдаемые доли групп q = (q(1), …, q(k)) и долю t от общего размера выборки N.
3. Считаем классическую статистику критерия хи-квадрат T(q).
4. Находим такой порог z(t), чтобы вероятность ошибки за первые N t наблюдений равнялась α(t). Для вычисления порога используем аналитические формулы или моделирование.
5. Если T(q) > z(t) → принимаем H(1); иначе — продолжаем.
6. Если дошли до полного объёма N и не приняли H(1) → принимаем H(0).

Достоинства
– Быстрее останавливает тест в случае SRM.
– Работает с классической статистикой критерия хи-квадрат, условия применимости те же.
– Поддерживает как пошаговое, так и батчевое применение: подходит и для потоков, и для агрегированных данных.
– Выбор α-spending функции даёт гибкость в регулировании скорости принятия решений.

Ограничения
– Обладает меньшей мощностью в сравнении с применением критерия хи-квадрат в конце эксперимента.
– Выбор α-spending функции не всегда очевиден — требует экспертной настройки или моделирования.
– Вычисление порогов z(t) может быть вычислительно затратным, так как для них нет простой аналитической формы.

Библиография
Основная статья будет приложена в презентации (файл — в треде).
Последовательный хи-квадрат для сгруппированных данных:
Сходимость последовательности значений статистики Пирсона к квадрату нормированного процесса Бесселя //Дискретная математика. – 2016. – Т. 28. – №. 3. – С. 49-58.