Fisher et al. "Lack of group-to-individual generalizability is a threat to human subjects research"
The consequences of neglecting ergodic theory in social, behavioral, and medical fields may have substantial epistemic and practical consequences. In the absence of quantitative examination at the individual level, the consequences could range from zero if we are lucky to find one of the few ergodic processes in nature (19), to catastrophic if a process is quite nonergodic. In clinical research, diagnostic tests may be systematically biased and our classification systems may be at least partially invalid.
Рекап:
1️⃣ Эргодичность – это когда среднее множества измерений на уровне одного юнита = среднему единственного измерения множества юнитов и наоборот => можно делать корректные выводы от пользователя к группе и vice versa
2️⃣ Эргодичность не появляется просто при накоплении наблюдений (увеличении выборки)
3️⃣ Не менее важным являтся понимание и отсутствия эргодичности в процессе: в этом случае обобщающие выводы приводят к некорректной интерпретации результов исследования так как метрики могут иметь совершенно разные тренды на уровне группы и на уровне отдельного пользователя (см. ecological fallacy, парадокс Симпсона)
4️⃣ Если даже процесс неэргодичен, использование усредненных метрик по группе, или усредненных на уровне отдельных юнитов – это ок, если мы не делаем выводов о том, что они тождественны
5️⃣ В продукте, как и в природе, эргодические процессы практически не встречаются. Почти все продуктовые метрики неэргодичны.
В то время как проблема обобщения от группы к одному субъекту сильно сказывается на мире клинических исследований и доказательной медицины, влияние эргодичности, а скорее ее отсутствия, на управление продуктом кажется мне не таким существенным по двум причинам:
✝️В продукте нам важно не столько получить достовреное значение метрики, сколько получить достоверный сигнал. На картинке выше, напротив "Relevant to the collective" стоит знак вопроса и он там полностью уместен – такое понятие как "группа" или "общность" пользователей – крайне странный юнит для анализа. Его сложно пощупать и также сложно интерпретировать, более того, среднее группы имеет тенденцию быть излишне оптимистичным. Однако, если эта сущность помогает продакту увидеть сигнал, который отражает реальность, пусть и несколько искаженную, то почему бы с этим не работать?
Например, если LTV по новой когорте вырос в несколько раз, куда проще скоммуницировать этот рост, как рост LTV пользователей в целом и каждого пользователя одновременно, а не пытаться объяснить своему CPO, что динамика LTV подчиняется случайному стохастическому процессу и варьируется от 150% до -150% для отдельных пользователей в когорте.
✝️Продуктовый процесс – это управление ограниченным кусочком реальности (продуктом) вокруг пользователя, но никак не изменение пользователя ради продукта. Когда мы красим кнопки, добавляем фичи – это попытки подстроиться под пользователя, но не поменять его. Этот процесс, во многом, противоположнен тому, который существует в медицине, где взаимодействие с пациентом направлено на то, чтобы его вылечить – изменить его текущее состояние.
Конкретные пользователи безусловно важны, так же важен и их персональный успех, но продукт не должен, да и не может воздейстовать на каждого пользователя, гарантируя ему успех, наоборот, он должен подстраиваться под нужды тех групп, кому он несет ценность, чтобы уже сами пользователи успешно взаимодействовали с ним