Планирование времени на эксперимент – очень фундаментальная и часто игнорируемая задача. В рамках exp-tools собрали новый симулятор – расчёт размера выборки для A/B

Что в нем есть: 
два режима под разные типы метрик:  
⁃ Доли / Конверсия – задаёшь базовый CR и MDE, считает через z-test (есть выбор между точной формулой CPS и упрощённой) 
⁃ Непрерывная метрика – задаёшь μ и σ, считает через t-test

MDE можно задать двумя способами – абсолютный (п.п.) или относительный (% от базового значения). 
параметры теста: 
⁃ α (уровень значимости) 
⁃ Мощность – двусторонний / односторонний критерий
плюс секция трафика: DAU и доля аудитории под эксперимент –  сразу считает сколько дней займёт набор выборки

Что в итоге:
⁃ n на группу и total N – длительность в днях 

⁃ What-if таблица: "что если подвинуть MDE": −50%, −25%, +50%, +100% сразу видишь n и дни для каждого сценария. 
Это самое полезное: не нужно крутить параметры вручную, trade-off между чувствительностью и временем виден сразу

⁃ График N vs MDE (в режиме непрерывной метрики) – Помогает почувствовать, как резко растёт выборка при малых эффектах

Канал «Телекомпания Вит»