Гипотезы как индульгенция на эксперименты

Культура экспериментирования, на мой взгляд, является следствием неудачной попытки применить научный метод. Наука и научный прогресс базируется на постоянных экспериментах и проверках гипотез, которые дают знания.

Гипотеза — это предположение, которое описывает феномен (факт, событие, явление, etc), и может быть проверено в ходе эксперимента (Wiki). Основой гипотезы являются наблюдения, которые ты не можешь объяснить существующими теориями, поэтому описываешь своим предположением.

Эксперимент — это инструмент обучения и его задача получить знания, которые позволят понять верно ли изначальное предположение и найти противоречия в нем.
И есть куча критериев (помимо перечисленных) у самого научного метода.

Так в научной теории, но не в индустрии, и, как пишет Миша, продакт не получает знания после проведения эксперимента, у него и не было цели их получить — он просто хотел достичь свой KPI/OKR/whatever. Продакт, проведя эксперимент и получив результат, успокоится и перейдет к следующему. Будет ли следующий трансформироваться на основе данных полученных от предыдущего? Чаще нет, чем да. Это уже в основе противоречит научному методу и тому, что эксперимент — инструмент получения знаний.

Спросите 99 из 100 про их определение гипотезы и они скажут, что это предположение требующее проверки. Обычно, это предположение вида «если я сделаю что-то, то получу то-то». Это ключевая точка, когда в индустрии продакт получает индульгенцию. Ты можешь выдвинуть любое предположение, назвать это гипотезой и теперь будешь обязан его подтвердить экспериментом, и никто не сможет тебе ничего сказать, ибо это гипотеза, а мы ведь все Data-Driven: если нет эксперимента, то нет метрик, а если нет метрик, то нет и аргументов. И это ключевая ошибка.

По факту, когда ты выдвигаешь гипотезу, которая не базируется на каких то наблюдениях, то это не гипотеза, а просто идея: «а давайте сделаем кнопку не справа, а слева, и мы улучшим конверсию». А почему она увеличится? «Ну не проверим, не узнаем». Здесь то и легко понять, кто безграмотен, а кто нет.