К вопросу о понятиях, про MDE:

1. Встретил на степике в рамках одного курса по A/B такое неверное определение MDE как "минимальное значимое различие".

Нет, MDE это именно "минимально обнаруживаемый эффект" (minimal detectable effect), который мы можем обнаружить (1), но не обязательно, что обнаружим (2) при заданными параметрах: альфа, мощность и доступной аудитории на каждую из выборок.

Особый акцент я бы сделал тут на мощности. Если она равна 0.8 = 80%, то именна это и есть вероятность обнаружения (можем обнаружить); а где мощность, там и ошибка 2-го рода: 1 - мощность = 1 - 0.8 = 0.2 = 20% вероятность НЕ обнаружить (не обязательно, что обнаружим)

Значимость тут вообще не к месту, значимость находится в рамках H0 и уровня альфы.

2. При этом в другом месте, который начинается на букву "Я", говорилось, что MDE это "среднее всех разниц между двумя генеральными H0 и HA", добавлю: если HA действительно имеет место (существует). Официально: мат. ожидание разниц двух генеральных. Увы, без учета параметров, это не совсем корректно. Вчитаемся: M-D-E. В рамках такого определении это просто E, Effect, тут я согласен. Но у нас есть M и D: Minimal и Detectable соответственно. Эти два слова прямо указывают на неразрывную связь с параметрами.

Итого: MDE это - Минимально. Обнаруживаемый. Эффект, который мы можем обнаружить, но не обязательно, что обнаружим при заданными параметрах: альфа, мощность и доступной аудитории на каждую из выборок. Точка.