«Фальсифицируемости» недостаточно

Особенно, если понимать её «в лоб», мол: «наше тестирование было основано на предсказании, что в экспериментальной группе конверсия повысится, этого не произошло — значит, это был научный тест».

13 лет назад (ОМГ!) большая часть мира — кто в шутку, а кто и всерьёз — обсуждала, что согласно календарю майя 21 декабря 2012 года должен был настать конец света.

То, что это предсказание не сбылось, не сделало исходный календарь или метод, которым было сделано это предсказание, более научным. Хотя вплоть до 2012 года календарь имел вполне хорошую предсказательную способность: каждая дата, в нём обозначенная, наступала в соответствующий день — 100 % попадание!

Что же тогда приближает некую модель реальности (знание, гипотезу) к статусу научного?

Сочетание принципиальной фальсифицируемости с прогностической способностью, но основанные на том, что исходная модель объясняет, как устроен мир, и тем самым даёт основания делать сбывающиеся прогнозы и создает возможность быть опровергнутой.

В результате опровержения такой модели должна возникнуть возможность появления нового знания, новой, более точной модели.

На смену «фальсифицированному» предсказанию календарю майя ничего не пришло — никакого нового, более точного предсказания.

Поэтому я настаиваю: любой эксперимент (включая наши любимые а/б-тесты) должен проверять не «сбычу прогноза», а объяснение, которое вообще даёт нам право этот эксперимент ставить.

Если мы меняем порядок шагов онбординга и, допустим, ставим экран монетизации на два экрана позже, то это должна быть не идея, возникшая из воздуха («а почему бы нам не попробовать Х?!»).

Сначала должно возникнуть объяснение, почему сейчас наше приложение так неохотно покупают, и только потом, на основе этого объяснения, идея поставить пейволл на пути пользователя «только после того как он осознал ценность».

И мы должны быть достаточно уверены, что если эта идея не сработает, то наше исходное предположение о причинах плохих продаж (вот где настоящая гипотеза!) изменится — будет опровергнуто, и нам придётся придумать новое.

А если от перемещения триггера монетизации ничего не изменится? Или, наоборот, идея сработает? Это точно подтвердит исходное объяснение?

Неееет... «Успех» эксперимента всего лишь повысит вероятность того, что наше объяснение действительно верное.

По-настоящему решающим может быть только результат, который гипотезу достоверно опровергает. Вот в этом и заключается настоящая фальсифицируемость. Именно в этот момент может начать рождаться настоящее знание.

Но лучше всего не рассчитывать даже на это, а следовать байесовскому подходу. Мало ли как мы там эксперимент провели и посчитали…

Все это очень сложно, я понимаю, поэтому если нужно запомнить одну ментальную модель то вот она: результат эксперимента должен уточнять наше знание о продукте или о его пользователях.

Сбывшийся прогноз, повысившаяся конверсия — сами по себе не несут смысла, если мы не узнали чего-то нового про пользователей. Потому что если мы этого не сделали, то повторить «успех» сможем только случайным образом, так же как и в прошлый раз.

---
Навигация: рубрики и лучшие посты

Поддержать канал: Patreon (€) • Sponsr (₽)