Если воздействие локально на пользователя и не влияет на соседей — новая кнопка, другой шрифт, перестановка блоков. Здесь обычный A/B работает корректно. Switchback тут только съест мощность.
Когда switchback — единственный правильный выбор?
Прайсинг в екоме, такси, доставка, шеринг-сервисы, правила комиссии, supply-side оптимизации. Всё, что меняет равновесие рынка, а не только поведение конкретного юзера.
Поделюсь с вами кейсом из своей практики. Команда тестировала новую формулу цены классическим A/B, получила p-value = 0.32, списала на отсутствие эффекта. Через полгода перезапустили этот же вариант в парадигме switchback, и обнаружили эффект +1.5% по выручке с интервалом ±0.6%. Первый тест «ничего не нашёл» не из-за отсутствия эффекта, а из-за интерференции: контрольная группа получала шум от тестовой группы через общий рынок.
Таким образом, switchback — честный дизайн для случаев, где A/B как инструмент не годится. Знать, что он существует, и уметь различать, когда он нужен, — навык, который окупается первым же сохранённым решением.
В моем курсе switchback — одна из тем, которой я уделяю особое внимание от дизайна ячеек и выбора длины окна до кластерного анализа и разбора реальных кейсов. Приглашаю вас в этот совместный путь, запуск уже сегодня!
🚇 Забежать в последний вагон: simulative.ru/ab-test
📈 Симулейтив | ВК | YouTube