— Я ни разу не проводил А/Б - тест.
— Ладно, не заливай... Ни разу не проводил?
— Не довелось. Не было.
— Пойми, в аналитике ☁️ только и говорят, что об А/Б - тестах 🌊…

Именно так бы звучала фраза из фильма 🎬, если бы его снимали в 2023 году. Что такое А/Б - тесты и статистическая значимость я расскажу кратко и перейду к сути поста.

A/B-тестирование 🔬 — это метод, используемый для сравнения двух равнозначных версий, которые отличаются только одной переменной, чтобы определить, какая версия работает лучше, на основе статистического анализа данных.

Статистическая значимость 📈 — это мера того, является ли разница между двумя версиями в тесте A/Б случайной. Другими словами, будут ли результаты, которые вы видите, воспроизводимыми или нет.

Если кто-то читает это в первый раз и что-то понял, то добро пожаловать в Аналитики 👨‍💻👩‍💻!

Обычно, с определениями, сложностей не возникает, так как их можно выучить 🧑‍🏫, а вот когда требуется визуализировать два случая: со статистической значимостью и без, то есть варианты.

Уверен, что это ответ сильно поможет в понимании вопроса🕵️‍♀️: Строим гистограмму, показывающую распределение данных для каждого варианта (у кого с этим есть вопросы, пишите в комментариях 📝 и обсудим в следующем посту). Если результаты статистически значимы, то будет четкое разделение 🔪 между двумя распределениями, а если разница не является статистически значимой, то распределения будут перекрываться 🙅‍♂️.

Для наглядности картинки будут в комментариях, угадаете где какая?
#абтесты