АБ-тесты креативов в Metа
На стриме “META: запуск и scaling” было несколько вопросов про АБ-тестирование креативов. В Meta я креативы АБ-тестами не сравниваю. Почему так:

🧪 Что такое АБ-тест
Пользователей случайно делят на контрольную и тестовую группу, между группами отличается один элемент. Дальше проверяют нулевую гипотезу «разницы нет»: считают, на сколько варианты отличаются и какова вероятность получить такое расхождение случайно при условии что нулевая гипотеза верна.

Это плюс-минус корректное определение если упрощать то: “отвечают на вопрос насколько отличаются группы” или в данном случае креативы.

📱 Где это нужно
Новый онбординг/цены/пейвол/новая фича в приложении. Внутри приложения нет алгоритма, который сам решит, какая версия отрабатывает лучше, и сам раздаст её подходящим пользователям. Решение принимает человек, значит нужны корректно посчитанные цифры и статистические методы разной степени сложности/чувствительности/точности. Другого способа корректно оценить перформанс фичи нет.

🤖 Чем отличается Meta
У Meta такой алгоритм есть: подбор креатива под пользователя - core-функционал рекламной сетки. Уже на этапе показа объявления Meta видит вовлечённость: кто остановился в ленте, кто досмотрел, кто кликнул.

💡 Мой комментарий
Задачи две:
1. измерить количественную разницу между вариантами и
2. выбрать креатив, в который уйдёт бюджет
АБ-тест решает первую, у меня стоит вторая.

Meta делает этот выбор на данных, которых у меня нет, и быстрее, чем я наберет выборку. Причин ей не доверять в этой задаче я не вижу.

Поэтому я заливаю в адсет креативы и просто смотрю что выберет META.

🙌 Ставьте плюсик в комментариях, чтобы я выслал ссылку на запись стрима - там еще много интересного обсуждали.