Data-driven — это когда каждая идея считается гипотезой

Мы все очень хотим быть data-driven. Обожаем. Душой болеем за данные, дашборды и красивые отчеты. Но дата-дривен — это не только про принимать решения на основе цифр, а в большей мере про культуру, формирование гипотез и их доказательное внедрение.

Культура — это то, что позволяет всему этому не застревать на одном отделе аналитики, а постепенно охватывать весь бизнес. Без культуры работы с данными продвижение data-driven подходов будет постоянно спотыкаться о неприятие команд и скатываться в имитацию деятельности.

При развитой культуре к каждой новой идее в команде относятся как к гипотезе. Даже если она кажется очень сильной. Даже если в ней уверены на все сто. Пока не подтвердили экспериментом — это все равно всего лишь гипотеза. Недоказанное мнение.

Эксперименты, к слову, бывают самые разные. Не только классические А/В-тесты, их целый зоопарк: A/B/N-тесты, мультивариантное тестирование, А/А-тесты, свитчбэк-эксперименты и проч. А иногда реальный эксперимент провести просто невозможно (нельзя распределить трафик на несколько версий), тогда на помощь приходят квазиэксперименты. Это отдельная большая и очень интересная история, как-нибудь расскажу подробнее.

В общем я вот о чем: вы не дата-дривен, пока вы не смотрите на свои идеи как на гипотезы. Планируете выкатить улучшение? Это отлично! Но до тех пор, пока не получили подтверждение от эксперимента, это все еще гипотеза. И относиться к ней надо именно так — с уважением, но без слепой веры.

Кузин из Smart Data Hub. Самое опасное — это «да ладно, катим без теста, это точно сработает»!