Всем привет! На связи Армен из CRM. Сегодня поговорим о том, как не стоит учить менеджеров запускать А/Б-тесты.

Ежегодно мы в Авито запускаем около 6000 экспериментов, при этом 40% из которых связаны с CRM-коммуникациями. Чтобы держать такой темп, часть запуска и первичный разбор делают маркетологи. Поэтому в продвинутом курсе для буткемперов в ААА мы уделяем время отдельной лекции по CRM-экспериментам: методологии, дизайну, интерпретации и процессам. Подробнее про то, как мы проводим А/Б-тесты с рассылками, можно прочесть в статье.

А теперь — к вредным советам. Если хотите, чтобы эксперименты были невоспроизводимыми, а команда спорила дольше, чем шёл тест — действуйте так:

1️⃣Делайте вид, что А/Б — это кнопка.
Не объясняйте, что тест — это про корректный дизайн: как формируются группы, какое окно анализа берём, в каком разрезе смотрим метрики. Пусть каждый увидит свою истину в отчёте с метриками.

2️⃣Убирайте контекст метрик.
Не закрепляйте список целевых, прокси и контр-метрик. Пускай uplift интерпретируют по вдохновению: один смотрит на покупателей, другой — на клики, третий — на отписки, и все по-своему правы.

3️⃣Не уделяйте время математике.
Статистическая мощность, уровень значимости, множественные сравнения — «слишком академично». Всегда ведь найдётся аналитик, который вручную разбирает по три теста в день и объясняет, почему выводы противоречат друг другу.

4️⃣Шаблоны резолюций не нужны.
Пусть итоги теста пишут в свободной форме: без явной формулировки гипотезы, без фиксированного окна и разреза, без ссылок на конкретные отчёты. Поиск по истории экспериментов превратится в квест, а повторное использование знаний — в приключение.

5️⃣Избегайте сложных случаев.
Не обсуждайте ограничения в А/Б-тестах, не рассказывайте про каннибализацию метрик и долгосрочные эффекты. Лучше их не учитывать, ведь так проще принимать решения.

Аналитики, а что у вас встречается чаще?
🔥 — видели такие подходы вживую
❤️ — процесс А/Б-тестирования уже формализован и предсказуем

#АрменЕс