Инь и ян А/Б тестирования

Есть две крайности (другие крайности я не встречал, к счастью):
1. Каждая гипотеза должна быть мега-мега обоснована. Это и количественные данные, и качественные исследования, и желательно ещё какой-то пре-тест сделать.
2. Запускаем просто как можно больше тестов, т.к. всё равно никто не знает какая гипотеза выстрелит и пока вы там будете искать обоснования, мы уже с десяток тестов запустим.

Первое очевидно, что истина где-то посередине. Второе очевидно, что середина у каждого своя.

На Reforge вышла прекрасная статья Good Experiment, Bad Experiment, в которой автор Fareed Mosavat в прошлом Dir of Product в Slack рассказывает о своём виденье этой самой середины и границы между хорошими и плохими тестами.

Очень рекомендую прочитать!