Можно или нет тестировать два изменения в одном тесте?


Есть мнение, что нельзя. Почему? Потому что вероятность выиграть у каждого изменения примерно 30%. Если тестировать их вместе, то вероятность уменьшается до 9%. Получается, что чем больше изменений в один тест, тем меньше вероятность, что тест выиграет.

Математика этого мнения основана на том, что эти события не связаны. Но, что если первое изменение - это добавить к меню первые блюда, а второе изменение - это добавить к приборам ложки? Пример утрирован. Очевидно, то первое без ложки и ложка без первого не выиграют.

Другое мнение. Если планируемые изменения сильно и очевидно усиливают друг друга, то можно тестировать вместе.