🚀 Как проводить больше успешных АБ тестов в единицу времени? Часть 2

✅ 4. Сокращение дисперсии
У метрик есть разброс - дисперсия, чем она больше тем сложнее сказать есть ли значимая разница между вариантами АБ теста, дисперсию можно сократить если увеличить размер выборок, но кроме этого есть различные подходы: удаление выбросов, CUPED, стратификация и прочее.

✅ 5. Увеличение числа точек эксперимента
Возьмем для пример сайт, по продаже садового инвентаря и есть 5 страниц с газонокосилками. Вы решаете, что хотите дарить к газонокосилкам канистру и 20 литров бензина.

Вы можете запустить на каждой странице отдельный эксперимент с таким оффером, а можете запустить один общий АБ тест на 5 страницах с этим оффером. Так вы соберете больше трафика в одном экспе, чем если будете делать эксп на каждой странице в отдельности.

✅ 6. Автоматизация процесса АБ теста
АБ тест требует подготовки, например придумать метрику, подготовить для её расчета SQL, провалидировать метрику. После проведения АБ теста нужно собрать данные из разных источников, провалидировать результаты.

Если аналитиков мало , то это еще усугубляет ситуацию, т.к. тормозит очередь АБ тестов. Соответственно если у вас уже есть набор готовых, провалидированных метрик, которые уже зашиты в платформу АБ теста или есть автоматическая отчетность которая чистит, валидирует и анализирует результаты, то это позволит сэкономить время.

✅ 7. Сокращение числа не валидных экспериментов
В экспериментах бывают разные проблемы: дисбаланс выборок(SRM), пересечение пользователей и прочее. Например при SRM стоит признать АБ тест не валидным, а это значит что его можно выкинуть или придется перезапускать, а это опять таки потраченное время. Соответственно нужно стремиться минимизировать АБ тесты с проблемами. Про валидацию экспов


✅ 8. Запуск параллельных экспов
Если у вас много трафика, но есть эксперименты которые вы не хотите пересекать между собой, то вам либо надо ждать когда пройдет один эксперимент и потом запускать другой. Либо у вас должен быть инструмент для параллельной работы 2 экспов. Обычно для этого используют так называемый механизм слоев. Он не позволяет пользователям одного эксперимента попадать в другой. Соответственно вы можете одновременно запустить 2 не совместимых эксперимента, а не ждать в очереди.

✅ 9. Изменение параметров АБ теста
У нас есть 3 параметра, которые влияют на размер выборок. Это размер эффекта, который хотим обнаружить, мощность теста, альфа. Если увеличить эффект выборка уменьшится, если увеличить альфу выборка уменьшится, если уменьшить мощность, то выборка уменьшится, если взять односторонний тест, то выборка уменьшится.

Я не сторонник занижения мощности или увеличения альфы, но для полноты картины стоило написать про эти опции. Пост "Что влияет на размер выборки для АБ"