📌 14. Нестандартные тесты

В завершении цикла про АБ, будет полезным рассказать про некоторые их нестандартные вариации. Или другие типы тестов. Кому как нравится, я их условно разделил.

✅ К первой вариации я бы причислил AB/n-тесты. Это расширенная версия АБ, когда в сравнении участвуют 3 и более вариантов. Самый частый метод расчёта таких тестов — дисперсионный анализ (ANOVA).

✅ Ещё отдельно я бы вынес непараметрические тесты. Технически, это те же самые АБ (AБ/н), но методы их расчёта не делают предположений о распределении, как это делают параметрические тесты. К таким методам можно отнести критерии Манна-Уитни или Краскела-Уоллиса (такой непараметрический аналог ANOVA, когда вариантов 3 и более).

✅ И нельзя не упомянуть Байесовских бандитов. В этих тестах алгоритм динамически “приспосабливается” для определения эффективного варианта, при постоянном обновлении данных. В отличии от АБ, где оба варианта наполняются на протяжении всего теста, бандиты постоянно обновляют вероятность выбора каждого варианта. За счёт этого они более гибкие в быстро меняющихся условиях.
Я довольно часто встречал их у ребят из маркетинга, на тестировании креативов, или в CPA на каналах. А вот в классической продуктовой аналитике почти не видел.

Можно ли успешно работать продуктовым аналитиком без этих тестов? Да легко. Но попробовать, хотя бы в образовательных целях, никогда не лишнее 🙂

#ABtest