Что самое сложное в работе продуктовым аналитиком?

Для меня это не статистика и A/B-тесты, а метрики и всё, что с ними связано.

Имея опыт работы в науке, где статистика обычно сложнее, чем простые z-тесты или t-тесты, для меня не было проблемой освоить теорию A/B тестирования. Плюс как нам известно, A/B тесты исторически происходят из медицины, хотя имеют свою специфику тоже.
Кроме этого, хороших материалов по статистике немало, и освоить ее вполне реально (тут конечно тоже есть нюансы, easy to learn, hard to master, но все же). SQL, Python, дашборды и другие инструменты тоже относительно легко изучить, по крайней мере на уровне, достаточном для выполнения задач.

Но вот все, что касается метрик, выучить заранее по учебникам и курсам гораздо сложнее, во многом приходится разбираться уже в процессе работы. Да, есть стандартные метрики (DAU, ARPPU, Retention), которые проходят на курсах продуктовых аналитиков, но даже здесь можно перепутать средние чеки и ARPPU 😅
Настоящая сложность начинается, когда нужно разработать кастомную метрику. Она должна быть понятной, устойчивой к манипуляциям, отражать суть продукта и иметь возможность вырасти. В теории звучит разумно, но на практике подобрать подобную метрику совсем непросто, все время будет несоответствие хотя бы одному критерию. Нужно быть очень хорошо погруженным в свой домен и продукт (то самое "продуктовое мышление"), чтобы предложить действительно полезную и соответствующую всем критериям метрику. А это уже не изучить ни на каких курсах, набирается только с опытом работы.

Сюда же относятся прокси-метрики, они полезны, например, когда целевую метрику сложно прокрасить в A/B тесте. К хорошей прокси есть похожий набор критериев: должна быть скоррелирована с целевой, но отражать изменения раньше, с достаточной точностью. Умение подобрать хорошую прокси это тоже навык, который нарабатывается с профессиональным опытом и развитием продуктового мышления.

В общем за чуть меньше года работы продуктовым аналитиком могу с уверенностью сказать, что метрики - это самое интересное и сложное. АБ тестирование с какого-то момента становится рутиной, и тоже самое можно сказать про остальные инструменты, описанные выше.

Пока перечитывала текст, поняла, что некоторые вопросы остались нераскрытыми, например больше про прокси-метрики расскажу в отдельном посте, или почему в аналитике статистика в среднем проще относительно науки.

Ребята продуктовые аналитики, расскажите, а что для вас было самым сложным?

#analytics