Давайте я попробую пересказать то, что пишет Максим, чуть более упрощенно. Максим может меня поправить, если я где-то навру.

1. Подход с планированием исследования и предварительным расчетом выборки -- идея скорее хорошая и оно должно бы так работать. На практике однако возникает вопрос, как определить границу минимально интересного эффекта и как определить ожидаемую дисперсию в группах.

2. В медицине это превратилось в карго-культ потому, что по факту там занимаются подгонкой задачи под ответ. То есть не на основе вводных считают количество пациентов, а наоборот: у нас есть понимание, сколько мы можем набрать пациентов / сколько их есть, и дальше мы подбираем такие значения границы эффекта и дисперсий, чтобы получить то количество пациентов, которое нам надо. Честнее было бы написать сразу, что проанализировали столько, сколько нашли.

3. В классической статистике у нас есть асимметрия между нулевой и альтернативной гипотезами. Мы можем отвергнуть нулевую гипотезу в пользу альтернативы, которую принимаем (потому что вероятность ошибки первого рода у нас под контролем). Однако вероятность ошибки второго рода мы не можем контролировать явно, поэтому мы не можем принять нулевую гипотезу, мы ее просто не отвергаем, что по факту надо интерпретировать как "на этих данных мы ничего не можем сказать" (потому что хз, то ли нулевая гипотеза и правда верна, то ли просто выборка маловата).

Расчет выборки позволяет нам проконтролировать вероятность ошибки второго рода, таким образом мы можем не только отвергнуть нулевую гипотезу, но и принять ее.

4. Сам расчет выборки исходя из мощности сильно завязан на тестирование гипотез. При этом тестирование гипотез -- это дихотомизирующая процедура, ответ которой "да / хз" в общем случае и "да / нет" при посчитанной выборке. Это все сильно ограничивает нас и надо бы от разговора о мощности теста перейти к разговору об оценке эффекта. То есть не гипотезы тестировать, а доверительные интервалы строить. И считать выборку так, чтобы достигнуть заранее предписанной длины доверительного интервала.

5. Расчет выборки, если мы говорим про что-то сложнее т-теста -- нетривальная задача, потому что для него требуется много вводных, которые еще и сложным образом зависят друг от друга. Поэтому как правило считается не точная выборка ("при такой-то выборке мощность ровно такая-то"), а ее верхняя оценка ("при такой-то выборке мощность как минимум вот такая").