На днях увидел очередную рекламу курса по А/В-тестам и поймал себя на мысли: почему это стало едва ли не самой хайповой темой в аналитике?
На каждом собесе обязательно спросят про А/В. Грейд аналитика часто меряют тем, насколько глубоко он шарит в стат.методах: мощность, поправки на множественные сравнения, бутстрап, CUPED.
Со стороны кажется, будто умение грамотно раскатить эксперимент - это высшая ступень твоего развития как профессионала.
Но это не так.
Сразу оговорюсь, что дело не в самих А/В.
Смущает меня именно то, сколько места им отвели в профессии.
А/В - это просто один из инструментов в наборе аналитика. Такой же, как когортный анализ, регрессии, юнит-экономика или causal inference методы, про которые я писал отдельно. Никакой не священный грааль. Обычная отвёртка из ящика с инструментами 🛠
Причём отвёртка с важной оговоркой: сам по себе А/В-тест не приносит компании ни рубля.
Он не повышает прибыль, он помогает принять решение. Это инструмент фасилитации: снизить неопределённость и понять, катить фичу дальше или откатывать. Ценность создаёт само изменение в продукте, а тест лишь измеряет, сработало оно или нет.
А теперь смотрите, что происходит. Вокруг этого измерительного инструмента строят всю роль.
Аналитик = калькулятор А/В-тестов. Человек, который с максимальной точностью посчитает, что новая кнопка дала +0.3% к конверсии.
Звучит, как по мне, обидно.
Я уже писал, что разница между джуном и сеньором - это переход от «калькулятора» к «партнёру». Так вот культ А/В загоняет аналитика обратно в калькулятор, только теперь с красивым стат.аппаратом.
Я считаю, аналитик должен стремиться быть партнёром бизнесу и приносить деньги, а не вылизывать точность оценки эффекта до третьего знака после запятой.
Тут нужна честная оговорка. В очень зрелых компаниях, где трафик гигантский, инкремент в 0.1% может стоить десятков миллионов долларов.
Там борьба за этот знак после запятой полностью оправдана, и сильная экспертиза в экспериментах действительно критична. Вопрос, скорее, в том, что интереснее лично мне.
А мне неинтересно копаться в микрооптимизациях и ловить +0.1%. Интереснее искать решения, которые дают эффект хотя бы +5%. Их не найти, гоняя сотый А/В на цвет кнопки. Они находятся, когда ты понимаешь бизнес, а не только формулу Стьюдента.
Уважайте А/В как инструмент. Но перестаньте видеть в нём вершину профессии.
Это не значит, что я не буду спрашивать А/В на собесах. Сори, без них всё-таки сейчас никуда.
А как у вас - А/В это сердце вашей работы или один из инструментов в ящике?
Ставьте ❤️🔥, если солидарны со мной и 💔, если нет