Игра "в A/B-тест"

Парадоксально, но когда мы работаем с данными, мы часто вынуждены многое оценивать "на глаз".

Если мы хотим проверить, есть тренд на рост или нет, гораздо проще построить график и посмотреть на него, чем считать скользящие средние, выбирать нужное окно и заниматься другими "увлекательными" действиями.

Особенно часто "метод пристального взгляда" мы используем, когда данные однородные, широкие, а метрика проста в интепретации. A/B-тесты, например. Но коварство в том, что как раз в этих условиях если тонкости. В реальной жизни всегда есть шумы. А наш мозг очень любит искать закономерности в случайных шумах.

Для проверки нашего глаза я тут сделал игру. В ней всё просто. Вам показывают два графика. Ваша задача: посмотреть на них и сказать навскидку, есть между ними статистически значимая разница.

Пробуйте, проходите сами, делитесь с друзьями, коллегами, продактами!

Игра сделана для браузера, должна запускаться откуда угодно без всяких VPN. С десктопа, конечно, будет чуть-чуть проще, при навежении можно увидеть числа. Но и с мобильного браузера кнопки тоже вполне нажимаются.

Стандартная игра - это 20 графиков, то есть около 5 минут. Но можно закончить в любой момент. У игры есть три уровня сложности. Они отличаются величиной шумов и разницей между средними значениями.

Выкладывайте в комментариях ваши успехи, баги. Оособенно жду скриншота, когда кто-то выбьет результаты, которые статзначимо хуже рандома 😄😄😄

Я знаю, что во многих платных курсах по аналитике есть похожие тренажёры. Только там не кнопочки тыкать, а реально статистику считать надо. Эта игрушка сделана полностью for fun, ничего и никого не продаёт и не покупает. В конце только реклама этого канала.

Бот спрашивает ваше имя, но тут же его забывает. Потому что нет никаких кук, никакие персональные данные не хранятся. Это легко проверить, так как исходный код открыт. Можно смотреть, можно делать форки, развернуть у себя, можно отдать код своей LLM и попросить его улучшить.

Но обезличенные логи пишутся, так что, когда будут данные, покажу вам зависимости сложности графиков от p-value. Также, спеиально для вас, галерея самых простых и самых сложных графиков.