По разным данным при тестировании гипотез проигрывает всегда больше половины #splittest. Проигрывает - означает, что тестируемая идея не лучше оригинала, т.е. никакого улучшения в целевой метрике нет.

Лично я часто говорю, что проигрывает 2 из 3 тестов. Недавно коллеги по рынку сказали, что 9 из 10 проигрывает. Так же я знаю одного продакта, который как-то сказал, что у них коэффициент выигравших тестов 45%. Т.е. 4+ теста из 10 выигрывают.

От чего это зависит. Если тестировать всё подряд, то получится скорее 1 к 10, т.к. оснований у #hypothesis будет мало. Если выделять время на разработку и проработку гипотез, то есть шанс приблизиться к 45%.