Прикладываю все ссылки, использованные мной, чтобы заботать a/b тесты за полтора дня:

1. Вообще что это такое
2. Очень подробно про t-test, критерий Манна-Уитни и бутстрап (включая ограничения и преимущества каждого из подходов)
3. Отдельно про бутстрап и перестановочные тесты + тестрование стат гипотез бутстрапом
4. Огромный гайдлайн от VK Tech – тут есть и про a/a тесты, что важно, и описание state of the art подходов и статистических тестов, также есть более продвинутые штуки вроде пуассоновского бутстрапа, чтобы не семплить на огромных выборках, симуляция данных, и вообще прикольно
Есть еще интервью с чуваком из ВК, где он все это более гуманитарно объясняет без матеши
5. Про minimum detectable effect (MDE) + как именно его считать и в чем математический смысл
6. Объяснение связи MDE, мощности критерия и уровня значимости (с графиками)
7. Про t-test, дисперсионный анализ и анализ таблиц сопряженности


Зачем-то еще перед интервью ботала DBSCAN и другие методы кластеризации и градиентный бустинг