Товарищи, давно хотел поделиться задачей, которую спрашивают аналитика на любом собеседовании. Более того есть наводка, что в топовых компаниях вообще увольняют и добавляют в блэклист каждого, кто не решит эту задачу. И так:

Допустим, вы участвуете в соревновании дизайнеров, на новый макет сайта.
После разработки участники самостоятельно проводят опрос клиентов.
• Вы опросили 100 человек, 60 людям он понравился больше старого
• Ваш коллега опросил 10 людей, 7 человек предпочли его сайт старому
•Начальник сравнивает конверсию (сколько "успеха" в процентах)
• Как объяснить, что ваш вариант лучше?

Пишите свои решения в комментариях!

Решение: Интуитивно кажется, что наш результат точнее, ибо экспериментов больше и по ЗБЧ эмпирическая вероятность сходится к истинной. Но на собеседовании такой ответ не тянет даже на удовлетворительно. Здесь удачней будет сказать, что перед нами биномиальная модель. Построим асимптотический доверительный интервал для обоих экспериментов по известной формуле. Вероятность в первой модели лежит в [0.504, 0.696], а во второй в [0.416, 0.984] при уровни значимости 0.05. Тогда с вероятностью 95% вероятность, что наш сайт понравится больше, чем половина; во втором же случае, так как 0.5 входит в доверительный интервал, не можем сказать с вероятностью 95%, что вариант лучше— может быть даже хуже. Делаем вывод, что первый вариант лучше. А если хотите подробней разобраться в инструментах статистики, то добро пожаловать на наш курс по мат статистике и АB-тестам! Перове занятие уже завтра и еще можно записаться.