Информация к размышлению
- Провести A/A-тест — это тот же A/B-тест, при котором двум частям аудитории показывается одно и то же.
- Разумеется, результаты такого тесте должны быть статистически незначимы.
- Если это не выполняется, у нас явно есть проблемы в проведении теста.
- Механизм тестирования может быть несовершенным.
- Механика почтовой рассылки в данной задаче важна.
- Иногда нужна ещё и внимательность.
Ответ chatgpt
Продолжить ABC-тест в других пропорциях (не указал каких), тест на внимательность провален,
Ответ grok
Оставить базовый вариант, тест на внимательность провален
Ответ cursor
Для принятия решения недостаточно данных, но потом по факту предложил продолжить ABC-тест в новвых пропорциях (33-33-33), тест на внимательность провален
Комментарии
Наводящий вопрос про красную кнопку сразу приводит к мысли, что выкатывать её нельзя, но в аргументах почему только всякая психология
красный цвет воспринимается как «стоп», «опасность», «распродажа низкокачественного товара»
На более прямое сообщение о том, что пользователь не видит кнопку в момент открытия письма большинство LLM реагирует уже более конкретно: замечают, что есть проблема в сплитовалке, предлагают A/A-тест.
И только chatgpt написала длинное маркетинговое эссе и вкусах пользователей с итоговым выводом: да, тема решает, постарайтесь выбирать хорошую тему письма😄
Как отвечают кандидаты
Гораздо лучше. Не все сразу проходят тест на внимательность, но с первой подсказкой обычно справляются. Дальше, в зависимости от опыта, дают более или менее разумные рекомендации.