Почему бутстраповские интервалы работают?

Есть такой замечательный способ строить по выборке доверительный интервал для матожидания:
1️⃣ Генерируем из исходной выборки N выборок с возвращением такого же размера, что и она. Эти N выборок называются повторными или бутстраповскими.
2️⃣ Для каждой повторной выборки считаем выборочное среднее. Получаем тем самым выборку из N средних.
3️⃣ Считаем 0.025 и 0.975 выборочные квантили у выборки средних — это и есть края нашего 95% интервала.

Вместо выборочного среднего можно брать оценку чего-нибудь другого и на выходе получится доверительный интервал для этого чего-нибудь. Скажем, если в шаге 2 считать выборочную дисперсию, то получится интервал для дисперсии.

Бутстрап это пока не самый популярный топик в курсах по статистике, но зато в индустрии про него знают прекрасно. Правда почему эта штука работает, все равно обычно не обсуждается, потому что, во-первых, это чот сложновато, а во-вторых, конкретно про интервал выше это еще и не совсем понятно: известно, что на практике работает отлично, и на том спасибо.

В этом посте мы тем не менее постараемся почувствовать, почему эта штука работает, и почему она лучше чем обычный доверительный интервал для матожидания.
Благодаря прошлому посту, обошлись тремя карточьками 😎