Как я объяснил менеджерам почему нельзя останавливать АБ тест когда вздумается 🤓

Какое то время назад я проводил обучение по АБ тестам для продакт и функциональных менеджеров в компании.

Цель этого обучения я видел в следующем : рассказать основы про АБ тесты менеджерам , что бы заэлайнить аналитиков и менеджеров в подходе и таким образом облегчить жизнь одной и другой сторонам.

Основная сложность в таких обученьках то что аудитория не обладает достаточными знаниями по стастике и терверу, что бы заряжать им все по научному, а значит нужно все объяснять на пальцах, иначе обратная сторона экрана может заснуть😄

Одной из ,на первый взгляд, непонятной для объяснения на пальцах тем для меня оказалась длинна эксперимента.
А именно донести до аудитории ответ на вопрос , почему надо ждать сколько то времени тест и почему нельзя останавливать его когда вздумается ? (Иногда его задают аналитикам)

Что бы ответь на этот вопрос я решил провести интерактив во время лекции: я взял две одинаковые монеты и стал их подкидывать 🪙. Одну монету подкинул 10 раз и посчитал конверсию в орла , и с другой монетой я поступил так же. Получилось 0.3 для одной монеты и 0.6 для другой.

После чего спросил аудитории , ну что ребят, выкатываем фичу в прод? 😂

Да такой подход не покрывает всю сторону вопроса , но зато, в моем случае, впечатлил слушателей и как мне сказала одна коллега , она на всегда запомнила почему не правильно останавливать тесты даже когда ты видишь крутые прокрасы 😊