На днях пересмотрел вебинары по бутстрапу (не могу скрывать симпатию к методу):
- от Искандера Мирмахмадова из EXPF - https://www.youtube.com/watch?v=8CMV5cK83ns
- от Анатолия Карпова - https://www.youtube.com/watch?v=-zps6hm0nX8

На два момента хочу обратить отдельное внимание:
1. Размер подвыборки делать таким же, как размер группы. Даже если у нас неравное деление пользователей, хоть и 90/10. Об этом на вопрос отвечал Анатолий после вебинара и пишется в статье https://ocw.mit.edu/courses/18-05-introduction-to-probability-and-statistics-spring-2014/resources/mit18_05s14_reading24/
2. Не нужно рассчитывать p-value по распределениям, получившимся в результате работы бутстрапа, так как измерения в них не независимы - забираются из одной и той же выборки и содержат повторы. Об этом говорил Искандер.