Пофилософствуем об АБ-тестах

Всем привет! Давненько тут меня не было, а за это время произошло много разного. Например, спустя несколько лет я снова побывал на экзамене по философии. Пока готовился и сдавал, натолкнулся на интересную мысль о связи с аналитикой, в частности, с АБ-тестированием.

Мы много говорим о важности экспериментов, применимости АБ-тестов, осуждаем тех, кто катит фичи без теста. Но мало кто знает, что этому спору уже несколько сотен лет. ☝️

Первым неудобный вопрос задал Дэвид Юм ещё в XVIII веке: прошлый опыт не гарантирует аналогичных результатов в будущем. Это называется проблема индукции.

В XIX веке Огюст Конт предложил позитивизм: доверять можно только тому, что можно измерить и наблюдать. По сути, основа дата-дривен культуры была заложена в философии науки двести лет назад. Но у позитивизма было слабое место. Теория говорит, что измерять, но не объясняет, как делать выводы.

В XX веке Карл Поппер нашёл выход с идеей фальсификации, которая перевернула науку: теорию нельзя доказать, зато можно опровергнуть. Нулевая гипотеза — это и есть подход Поппера в действии. Мы не доказываем, что новая версия лучше, а собираем данные, чтобы отвергнуть утверждение об отсутствии эффекта.

Такой вот философский экскурс 🙂

Поэтому, если аналитик настаивает на тесте — он не тормозит команду, а убирает грабли, по которым наука ходила веками.

#ДимаКр