⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀
Иногда открываешь чужой расчет по A/B-тесту и почти сразу понимаешь: лучше бы не открывала.
👀 На одной из работ меня попросили посмотреть, как другая команда аналитиков считает A/B-тесты.
Ситуация сама по себе неловкая. Я человек неконфликтный: если можно не лезть в чужие разборки, я лучше не полезу.
Но тут было уже поздно.
❌ Сначала увидела, что итоги A/B-теста ребята подводят в эксельках.
Ну и ладно.
Эксельки и эксельки, это всего лишь инструмент для работы. Мало ли какие у людей договоренности с заказчиками.
❌ Потом оказалось, что часть таблиц для расчета удалена из базы. Тут я уже напряглась. Потому что когда в аналитике внезапно исчезают куски расчета, это не совпадение. Если вам кажется, то вам не кажется.
А потом подъехало главное.
❌ Ребята считали A/B-тест не как A/B-тест. Они считали его как обычное ДО-ПОСЛЕ.
🐈⬛️ Без нормального сравнения теста и контроля.
🐈⬛️ Без проверки статзначимости.
🐈⬛️ Просто все, что выросло, записали в эффект.
То есть буквально: что-то изменилось -> значит, это мы молодцы, наши фичи лучшие.
😬 Отдельный сок был в том, что тест запускался на почти новых пользователях. А у них метрики ДО настолько низкие, что ты в результатах летишь на ракете в небеса.
То есть почти любое движение начинало выглядеть как космический рост. Не просто завышенный эффект, а эффектище. Все довольны, аплодисменты, браво.
📝 Я посчитала АВ тест по-нормальному, как это обычно принято. Метрики там прокрасились, но уже без магии. Не +10Х рублей, а просто +Х рублей.
И дальше началась из самых бесячих вещей в аналитике.
🪄 Пока цифры красивые, всех всё устраивает. Как только приносишь результат поскромнее, но честнее, сразу становишься человеком, который пришел и все испортил. Почему вы так слабо работаете, когда в соседней команде делают 10Х за квартал?
Хотя смысл аналитики ровно в обратном. Не в том, чтобы красиво продать бизнесу желаемый эффект. А в том, чтобы понять, есть он вообще или нет.
👍 В разных компаниях, даже в тир-1, может встречаться эта ловушка. Сверху ждут красивую цифру. Снизу очень хочется эту цифру найти.
Ставьте амбициозные цели и достигайте их! Ваши +Х% звучат недостаточно амбициозно, нам надо больше!
🤫 Чем выше наверху ждут красивый эффект, тем сильнее внизу соблазн его “найти”.
Самый легкий способ сделать 10Х вместо Х - подшаманить числа. Может, даже не специально, просто так получилось. Если это случилось один раз, то можно попасть в хроническую ловушку создания миражей на красивых слайдах и выступлениях)))
Самая дорогая ошибка в аналитике - не посчитать что-то сложно и долго.
Самая дорогая ошибка - убедить бизнес в эффекте, которого на самом деле нет. Красивые числа могут стоить дорого в будущем. Потому что потом компания начинает жить так, будто этот эффект правда существует. И потому что разубедить менеджмент в этом будет очень тяжело.
————————————
❓ Что бы вы сделали, если бы заметили, что другая команда систематически шаманит числа, но нести правду наверх рискованно?
😬 - делегировал бы это своему лиду или хэду, человеку с большим весом в компании. Он справится
🫣 - попытался бы найти компромиссное решение между эталонно правильными расчетами и сложившимися в реальности. Попробовал бы поговорить с той командой
🕺 - выступил бы с разоблачением на созвоне на 100 человек. Пусть знают, как порочить профессию аналитика
💅 - промолчал бы. Посчитал бы правильно, но свое решение не пушил бы. Моя хата с краю, ничего не знаю