А вы наймёте нейросеть? (продолжение)

А "правильный" ответ-то какой?
Как обычно: нет универсального правильного ответа, но есть начала для интересного разговора.

Итак, в чём же подвох этой задачи?

В момент открытия письма пользователь ещё не видит кнопки!
Поэтому статистически значимый результат на красной кнопке — это что-то невообразимое. Либо мы плохо поделили пользователей (“плохой рандом”), либо в письме есть какая разница не только в кнопке, но и где-то ещё (время отправки, сегмент отправки, заголовок, “неравный тест”), либо 90% уровень значимости для нас недостаточен (“нам не повезло”). Лучше всего провести A/A-тест и локализовать нашу проблему.

Да, вот тут мне говорят, что в задачах на аналитику ставить такое вот - это жестоко. Что проверяет такая задача не практические навыки, а что-то другое.

Я, конечно, с этим не согласен. В задаче "много букв", достаточно много отдаётся контекста. И навык находить вот такие подставы очень даже востребован.

Что дальше по задаче?
Значимый результат красной кнопки на самом деле не про кнопку. А вот зелёную стали жать лучше. На продажи это не повлияло, т.к. выборка маленькая. Но бизнес не ждёт, надо выкатывать какой-то результат.
Нам нужны продажи. Возможны случаи, как высокая конверсия в клик ведёт к низким продажам. Например, когда мы обещаем что-то хорошее за копейки, а действительность оказывается хуже или значительно дороже. Вроде это не наш случай, всего лишь цвет кнопки. Но в некоторых областях (экзамены ПДД, футбол, переработка мусора и т.п.) зелёный цвет может вызвать неожиданные ассоциации и теоретически обрушить продажи. Т.к. оценить продажи на таких выборка объективно не получается, можно продолжить тест в других пропорциях: например, 50% отдать зелёной кнопке, 50% контрольной группе.

Пример с цветом кнопки очень теоретический. Хотя иногда небольшие мелочи могут действительно приводить к значимым результатам.

Главная проблема таких тестов — они требуют времени. Поэтому часто приходится принимать половинчатые решения: бизнес не будет ждать столько, столько нужно для полной уверенности.