У некоторых блогеров можно встретить термин А/Б-тест (видимо они считают это чем-то крутым и элитным + #СТАТИСТИКА_ПРОСТО). Давайте разберемся, что это на самом деле и при чем тут маркетинг?
А/Б-тест - это рандомизированное исследование, если перевести на язык клинической терминологии [1, 2].
Т.е. суть в том, что:
1) возникает идея, из которой формируем гипотезу (можно тут почитать про нюансы [3]);
2) определяем объекты/популяцию (пациенты, рилсы, команды, посты), в отношении которых потом будем делать выводы;
3) определяем какой исход/KPI (первичная конечная точка) мы будем оценивать (про конечные точки можно посмотреть здесь, много информации);
4) фиксируем общий срок проведения А/Б-теста (чтобы не подглядывать). Можно немного прочитать здесь и здесь;
5) случайном образом (с помощью рандомизации, это важно!) определяем кого-то в группу вмешательства (новое лечение, конкретный тип рилсов, методика работы команды, структура постов), а кого-то в контроль (стандартное лечение или плацебо, предудыщий тип рилсов, работы команды или постов). Тут важно учесть такое предположение как SUTVA (можно почитать здесь);
6) проводим сам тест;
7) сравниваем группы по исходу, чтобы оценить причинный эффект (обычно это ATE, смотри здесь);
8) делаем вывод об эффективности нового лечения, типа рилсов, стратегии работы команды или структуры постов.
Получаем хороший эксперимент, где, правда, на каждом этапе есть свои нюансы.
И всего-то несколько пунктов) но для этого как минимум нужна инфраструктура и специалисты, с необходимым знаниями и навыками
При чем тут маркетинг?
Потому что такие исследования в нем тоже проводятся. В частных компаниях, где есть аналитический отдел, постоянно проводят А/Б-тесты, в которых оценивают как новое вмешательство (работа системы, дизайн, интерфейс и прочее) меняет конверсии, ARPU, ARPPU, LTV и прочие метрики.
Можно найти исследования, где оценивают сами А/Б-тесты [4], показывают свои результаты [5, 6], предлагают идеи оптимизации [7]. Как говорится, это мощный инструмент)
Если вы хотите проводить А/Б-тесты, то нужно сначала научиться (благо мест для обучения сейчас достаточно), а не просто болтать в сторисах.
По заветам великого учителя
@Ebm_base