​​Итоги 2020
Подведем итоги 2020 года на примере игры Steampunk Defense.

За 2020 год мы запустили 44 теста.
LTV/User с $0.67 до $1.12
В этом году мы окончательно отладили нашу платформу abtestreal.com. Теперь мы можем запускать эксперименты без других сервисов (например, Firebase).

Выводы
1. Мы запускаем много тестов на баланс.
Подбираем оптимальную сложность уровней в игре.

2. Большинство тестов не имеют статистически значимых результатов.
Мы смотрим на фичи. Если это обновление SDK или фикс критического бага, то мы выкатываем, даже если статистически значимого результата нет. Если это не жизненно важная фича, то откатываем.

3. Да, баги мы фиксим тоже в рамках АВ-эксперимента.
Часто баги сильно задевают экономику игру, поэтому на них мы часто огребаем фейл. С первого раза не всегда удается выкатить фикс.

4. Много новых фич не дали результата. Мы об этом быстро узнавали и понимали, куда двигаться дальше.

5. А вот когда мы что-то убираем, это, наоборот, часто "успех".

6. В большинстве тестов нет стат. значимости.
Несмотря на то, что эксперимент заканчивается со статусом “неизвестно”, мы видим, как меняется воронка, и используем эти данные в будущих экспериментах. Например, полное выпиливание метаигры улучшило конверсию на ранних стадиях игры, но ухудшило на поздних. Поэтому есть смысл попробовать запускать мета игру на поздних уровнях.

С наступающим 2021 и побольше вам тестов!