Важный факт который стоит всегда помнить при проведении A/B тестов – деградация конверсии.

Возьмем для примера наш тест на открытие меню. В нем мы ставим красную точку рядом с главным меню в расчете что его будут больше открывать. Точка пропадает если пользователь сделал целевое действие. Смотрите пример на картинке.

На графике видны результаты проведения теста. В первый день в тестовой группе открывали на 44% чаще, а в последний день – всего в 7%. Разница больше чем в 6 раз!

В UI тестах такое постоянно, и дело тут в эффекте новизны. Любое новое всегда получает больше внимания пользователя, чем старое. Потом все привыкают и конверсия деградирует до нормальной. Поэтому такие тесты мы смотрим минимум неделю, а лучше две.