Мифы АБ тестирования. Часть 3

Миф 1. Рандомизация создает абсолютно одинаковые группы
Реальность: Идеальной балансировки групп «из коробки» не существует. Рандомизация гарантирует лишь отсутствие системного сдвига (bias), но не идентичность выборок. На практике между сегментами групп всегда будет небольшое отличие.

Миф 2. Критерий Манна-Уитни можно использовать для оценки средних
Реальность: Критерий проверяет не равенство средних, а так называемое стохастическое доминирование. Упрощенный пример: может возникнуть ситуация, что среднее группы A больше, чем среднее группы B. Но этот рост достигнут за счет того что в группе B сегмент китов перестал платить много, а сегмент "типичных пользователей" немного увеличил платежи. Критерий Манна-Уитни может посчитать, что группа B значимо лучше A, но при этом мы теряем в среднем доходе в группе B.

Миф 3. Каждая новая единица наблюдения одинаково снижает ошибку среднего
Реальность: Закон убывающей полезности в действии. Точность растет не линейно, а пропорционально квадратному корню:

Из-за корня в знаменателе каждый новый пользователь приносит всё меньше пользы для точности. Например, у вас 1 пользователь в выборке, чтобы сократить стандартную ошибку в 2 раза, вам нужно увеличить выборку в 4 раза. А чтобы сократить в 10 раз — выборку придется раздуть в 100 раз.

Миф 4. Существует целая куча стат критериев, мне никогда не разобраться во всех
Реальность: Вам и не нужно знать сотни критериев. В 95% реальных продуктовых задач в ИТ всё сводится к понятной и логичной карте принятия решений, где пригодятся всего несколько критериев и подходов.

Зачастую все сводится к применению: t-test, z-test proportion, хи2, bootstrap и еще некоторые методы для работы с ratio-метриками.

Миф 5. Единичный А/А-тест гарантирует чистоту сплитования
Реальность: Один успешный АА-тест (отсутствие отличий) - это иллюзия контроля. По определению, даже в идеальной системе в 5% случаев АА-тест должен показать ложную значимость. И наоборот: сломанная сплитовалка может выдать «зеленый» АА-тест чисто случайно. Чтобы реально проверить систему деления нужно больше АА тестов.

P.S. Сегодня стартует 6 поток курса по АБ тестированию