Парадокс Эдварда Симпсона, также известный как парадокс объединения, — это явление, когда тенденция, наблюдаемая в нескольких группах данных, исчезает или даже меняется, когда данные объединяются. Это может привести к неправильным выводам, если не учитывать контекст.
Актуально для выбора рекламных креативов, тестирования продуктовых гипотез, медицины, социологии и других областей ☝️
Простой пример — студентов поделили определённым образом на 2 неравные группы и дали им пройти экзамен:
В группе А:
80% студентов сдали экзамен
20% студентов провалили экзамен
В группе Б:
40% студентов сдали экзамен
60% студентов провалили экзамен
Очевидно, что группа А гораздо лучше справилась с экзаменами и если вы хотите нанять людей, то нужно брать их только из группы А.
Теперь посмотрим, а сколько было людей в каждой группе:
В группе А было 10 студентов (80% сдали экзамен — это 8 человек)
В группе Б было 100 студентов (40% сдали экзамен — это 40 человек)
Если бы студентов не делили на группы, то мы бы получили статистику, что 48 студентов из 110 сдали экзамен, а это 43,6% от всех сдавших.
Получается, если бы мы знали только результаты группы Б (40% сдали экзамен) и общий результат (43,6% сдали экзамен), то мы бы сделали вывод, что результат группы Б — просто шикарный (отличается всего на 3,6%), хотя сейчас мы знаем, что он в 2 раза хуже, чем в группе А.
Почему это важно?
Парадокс Симпсона показывает, как важно учитывать контекст и структуру данных. Если мы просто посмотрим на общие цифры, можем сделать неверные выводы.
Пример из жизни.
Вы тестируете разные варианты рекламного креатива или какой-то продуктовой фичи: сделали 2 варианта и решили посмотреть — какой из них лучше. У вас получилось, что вариант Б — конвертит на 35% лучше, чем вариант А. Успех 🤑
Вы довольны, отчитываетесь перед начальством, отключаете вариант А, но со временем смотрите на статистику и не понимаете, почему же показатели на проде не изменились и выручка не растёт ¯\_(ツ)_/¯
Более того, показатели даже немного просели... Как так? Ведь тестирование показало, что вариант Б — точно лучше! 🧐
А всё потому что вы не сегментировали входящий рекламный трафик и не посмотрели детальное распределение. У вас могло получится так, что на вариант Б приходили лояльные пользователи с определённого канала, например, пришли по рекомендации или через брендовый запрос в поисковике и так далее.
Такие пользователи купили бы ваш продукт вне зависимости от показанного варианта, просто статистически на них больше выпадал вариант Б. После того, как вариант Б был раскатан на всю аудиторию, показатели не изменились или даже, наоборот, могли ухудшиться.
Внимательно «читайте» статистику 🤓