Как убедиться, что изменения после эксперимента пошли на пользу?

Недавно рассказывал про успешный А/В-тест, где метрики эксперимента оказались лучше, чем у контрольной группы. Значит, пора внедрять изменения — пусть все пользователи видят обновлённый ресурс. Но вдруг различия в показателях оказались незначительными или вообще продемонстрировали «отрицательный рост»? Ответить на вопрос «А что, если бы всё осталось по-прежнему?..» помогут обратные эксперименты!

Вам нужно сравнить обновлённую конфигурацию с той, что была раньше. Для этого тестовая и контрольная группы меняются местами! Напомню, что экспериментировать с рекламными блоками удобно в Вариокубе 👀 Проверяем на ограниченной аудитории и смотрим на метрики. Убедившись в цифрах, можно наконец спать спокойно: вы всё сделали правильно 👍