Вы не готовы, пацаны

Прочитал сегодня очередной пост про быстрые итерации, lean startup, все дела. Ощущение, что уже все хотят проверять по 300к гипотез в наносекунду. Но, по факту, мало кто к этому готов

2 А/В в месяц ломают хребет B2B-стартапам
Возникают риски для клиентов - нестабильный продукт, нужно обьяснять изменение метрик даже третьего порядка.
Внезапно оказывается, что эксперименты могут стоить денег! Не только потенциальная потеря метрик, но и косты на те же GPU. А минимальный бюджет на них выделить забыли
А еще и логгировать все данные нужно корректно: если у вас теряется 10% логов, тооо замерить эффект в +5% вряд ли получится

20 А/В - тестируют аналитическую культуру средних компаний
Неожиданно, но 20 А/В в месяц означает, что в среднем каждый день нужно принимать решение по завершившемуся АВ.
Это означает: корректно разводить аудиторию между АВ, пофиксить баги в сборе данных, сделать автоматические скрипты расчета всех метрик, договориться что все в компании смотрят на однин и тот же набор метрик и версию расчета конверсии, договориться о размене метрик...
Ну и самое главное: научиться по готовому анализу быстро принимать бинарное решение: катим в прод / нет.
А нет, погодите, еще при выкатке в прод фиксить все конфликты, накопившиеся за период экспа + костыли эксперимента превращать в продакшен-код:)

200 А/В - проверяют все процессы в IT-гигантах
Столько экспериментов в месяц означает, что их массово проводят все команды: продукт, маркетинг, логистика и тп. Следить за всеми невозможно. Тут придется налаживать процессы на уровне всей компании, чтобы проверка гипотез была полезной, а не запутывала все еще больше

Влияют ли эксперименты разных команд друг на друга? Одни катают экспы по 5 дней, другие только на сегменте ios, третьи показывают в копеечном экспе +30% выручки -- а каким экспериментам мы вообще можем доверять?
Придется построить плафторму А/В. Придется договариваться о метриках. Придется говорить, что в А/В маркетинг принес +3% клиентов, а не атрибуцировал к открывшим пуш 60% заказов

А вам оно надо? 😂

В общем, lean startup и быстрая проверка гипотез - это здорово, я сам очень топлю за это. Но будьте готовы, что нужно вложить немало усилий и денег, чтобы все это действительно приносило пользу

❤️ - В моей компании идет 200+ АВ тестов в месяц
🔥- 20-200 АВ
👍 - 2-20 АВ
😀 - Живем без АВ и счастливы