А вам важно подтверждение своих скиллов от внешних экспертов?

Недавно сгоняла на экзамен по A/B-тестированию по мотивам кейсов Т-Банка.

Сразу к главному – я сдала и получила подтверждение своих навыков в A/B от крутых ребят, так что можно радоваться 🎉

По формату общения было похоже на собеседование с разбором кейсов по A/B. С точки зрения задания это по сути ревью A/B тестов: нужно было посмотреть, все ли нормально с экспериментом, и если нет, то дать рекомендации, как исправить. Именно такой формат исходно был в Т-Банке, подробнее про движ можно почитать здесь.

Что было интересного?

На прикрепленной фотографии перечислены темы и полученные оценки. Мы обсудили по-моему все, что связано с A/B, начиная с базы про MDE и сплитование, а заканчивая поправками на множественное тестирование, линеаризацией, CUPED и sequential testing.

Из сложного – немного запнулась на вопросах про линеаризацию и sequential testing. На практике с этим особо не работала, только читала статьи на хабре, поэтому возникли сложности. У нас большинство тестов закрываются без продвинутых методов, но постепенно внедряем больше сложного и интересного, ну и еще бы не помешало улучшить качество данных 😏. В принципе идем в этом направлении, данные становятся лучше и можно применять что-то посерьезнее, чем z-тест конверсий.

В остальных вопросах все четко, короче я прошла в список экспертов по A/B (по мнению Ромы Филева из Т-Банка 😁), спасибо за возможность проверить свои знания.

Записывайтесь ко мне на менторство, если хотите быть тоже спецами в A/B 😎

#analytics #AB_tests #собес_PA