Закон Тваймена
Сегодня новый эксперимент выдал 3 успеха. Мы получили статистически значимое улучшение по всем ключевым метрикам.

Игроки стали дольше играть в игру, игроки стали больше покупать и больше смотреть рекламу.

Самое время вспомнить про Закон Тваймена из книжки Trustworthy Online Controlled Experiments:

"Любые цифры которые выглядят интересно или сильно отличаются от предыдущих - обычно ошибочны"

Применительно к АБ тестам распространенные ошибки это

Неверная интерпретация
1. Недостаточная мощность.
Малые эффекты сложно увидеть на маленьких объемах.
2. Неверная интерпретация p-value
p-value = 30% это не то же самое что "гипотеза верна с вероятностью 30%"
3. Выборка нужных p-values
Мы недавно писали большой пост на эту тему. Если грубо: если последовательно запускать очень много тестов, то что нибудь да найдется или как говорил мой препод по военной кафедре "Раз в год и ружье стреляет" (оффтопик: это была самая умная мысль за все время обучения)
4. Тестирование нескольких гипотез
Очень похоже на предыдущую, только гипотезы запускаются одновременно а не последовательно.
5. Связанные элементы выборок
Когда например вы звоните кому-то в скайп - вы влияете и на принимающую сторону. Как правило в АБ тестах вам хочется работать с независимыми выборками.
6. Технические проблемы
Сюда относится например знаменитая проблема "мерцания" в web - когда вы меняете контент через JavaScript - у вас элементы страницы "скачут" по странице тем самым влияя на результат
7. Эффект новизны
Мой любимый эффект. Если вы только что внедрили новую фичу, то игроки будут воспринимать ее не так как если бы "она была всегда". У нас, кстати, в играх есть фича "искусственного апдейта". Игроку кажется что мы обновили игру и поменяли UI. Игрок реагирует позитивно. Хотя UI меняется просто после 5го уровня. Мы много раз замеряли эффект от такого контринтуитивного введения - эффект каждый раз подтверждается.

Ну и возвращаясь к нашему эксперименту. Оказалось что с новыми апдейтом, мы полностью выпилили отправку данных в нашу платформу - отсюда такие клевые результаты.

Мы быстро спустились с небес на землю. Хвала Тваймену!