В своей книге Trustworthy Online Controlled Experiments знаменитый гуру А/Б тестирования из Microsoft Рон Кохави пишет:

До эксперимента сложно оценить ценность идеи
TRUE
Когда мы поняли это, мы решили, что главное - это прогонять много экспериментов, стараясь не тратить много времени на разработку.
Маленькие изменения могут иметь большой эффект
TRUE
Самые успешные наши эксперименты:
перенос показа рекламы с первой минуты игры на третью (к слову сказать, дальнейший перенос ничего не дал).
1 час разработки
добавление анимации “переливчатой кнопки” в местах, где нужен call to action
1 час разработки

В нашем случае опыт можно обобщить как: “ТОЛЬКО маленькие изменения имеют эффект”. Наши игроки равнодушно относятся к любым изменениям в метаигре. Их волнует только core gameplay. Почти все наши успешные эксперименты сейчас - это устранение препятствий на пути к core gameplay.

Эксперименты с большим эффектом редки
TRUE
На одну игру мы запускаем примерно 2 эксперимента в неделю. За год мы насчитали 6-7 успешных экспериментов. К слову, сильного проседания тоже сложно достичь. Как правило результат: “без изменений”.

Критерий оценки эксперимента должен быть известен до эксперимента
TRUE TRUE TRUE
Наш критерий всегда один и тот же - это средний заработок на игрока. В своей работе над продуктом мы не используем никаких других платформ и совершенно не интересуемся такими метриками как 1-day retention, average session length или ARPPU.