Как мы с вами подходим к вопросу проверки гипотез своих?

😶 Продолжая тему мыслительного процесса, давайте сегодня разберем вопрос, как именно мы с вами проверяем гипотезы (тут не только и не столько про АБ тесты, а сильно шире)? Что вообще подразумевается под “проверкой гипотезы”?

Базово, кажется, есть два пути: попытаться подтвердить гипотезу или попытаться опровергнуть ее. И вот ощущение, что чаще всего многие из нас идут по первому пути. Но хорошо ли это?

Самая основная проблема в этом заключается в ловушке предвзятости подтверждения:
🔪мы замечаем успешные кейсы, игнорируя провалы
🔪интерпретируем неоднозначные сигналы, как аргумент в пользу нашей идеи
🔪можем окружать себя людьми, которые разделяют нашу веру в гипотезу
🔪и в целом можем долго тянуть/вкладывать ресурсы, потому что вложились в это

🤓И вот в философии науки существует принцип фальсифицируемости - теория считается научной только в том случае, если существует возможность ее опровержения на основе эмпирических данных (критерий Поппера). Данный принцип хорошо бы нам в каком-то адаптированном формате использовать и вопросах принятия решений.

Кстати, всеми нами знакомое АБ-тестирование как раз занимается не подтверждением, что новая фича влияет, а тем, что мы пытаемся опровергнуть нулевую гипотезу, которая всегда утверждает отсутствие связи, эффекта или различий между изучаемыми явлениями/группами.

На уровне менеджерский/управленческих решений набросал основные мысли, как все же нам подходить к нашим идеям перед тем, как их превращать в решения:
1️⃣Реализовывать в своих командах культуры открытости и стараться пресекать история, где команда скорее пытается поддакивать. Еще оптимальным может быть наличие 1-2 сотрудников, которые по складу ума думают в сторону, где и как новое изменение может сломать, где какие риски могут быть.
2️⃣Делать дизайн своих решений: прописывать критерии успешности, критерии реперных точек и реакции на полученные результаты и потом следовать им.
3️⃣Стараться вырабатывать базовые концептуальные правила для команд, как оценивать разного рода идеи, чтобы исключать различного рода шум. Напомню, что даже в рамках одного человека (представьте самого себя) мы можем с одинаковым входным контекстом принять разное решение в разным момент времени.