В общих чертах:✅ Выбирать эстиманд (интересующий нас параметр, например, разность средних) исходя из решаемой предметной задачи.
✅ Формулировать явным образом допущения, из которых мы исходим при анализе данных (например, о том, что наблюдения независимы, происходят из одного распределения с конечной ненулевой дисперсией).
✅ Выбирать статистическую процедуру (тест, доверительный интервал), исходя из эстиманда и сформулированных допущений.
В идеальном случае перечисленные выше шаги стоит выполнить еще до сбора данных!
Из этого, в том числе, следует, что имеет смысл:✅ При использовании t-теста или F-теста (ANOVA) предпочесть модификации по Уэлчу, устойчивые к гетероскедастичности, без предварительной проверки равенства дисперсий.
✅ Отказаться от предварительной проверки на нормальность.
✅ Применять заранее выбранную процедуру независимо от наблюдаемой формы распределения.
✅ Изучать распределение данных с помощью диаграмм распределения (например, гистограммы).
II. Плохо:
⛔️ Выбирать статистическую процедуру для сравнения групп исходя только из результатов проверки условий применимости с помощью других тестов (тесты на нормальность, тесты на гомоскедастичность и т.д.). Такая тактика может привести к изменению эстиманда, что недопустимо: он должен быть определен на этапе планирования исследования исходя из решаемой задачи. Кроме того, проведение предварительных тестов (т.н. двух- и многофазовые процедуры) непредсказуемо изменяет вероятность ошибки первого рода и мощность статистических процедур и может приводить к изменению тестируемой нулевой гипотезы, что также недопустимо.
⛔️ Проверять нормальность распределения с помощью тестов, дающих оценку p < 0,05 или p > 0,05 (тест Шапиро-Уилка, Колмогорова-Смирнова и др.). На малых выборках эти тесты обладают низкой мощностью (т.е., недостаточно чувствительны и имеют высокую вероятность ошибки второго рода), а на больших выборках излишне чувствительны к малейшим отклонениям от нормальности.
⛔️ Считать, что для применения t-теста и других тестов «параметрической» статистики обязательными условиями являются нормальность распределения и (или) объем выборки более 30.
⛔️ Считать, что ранговые тесты (Уилкоксона, Манна-Уитни, Краскела-Уоллиса и др.) являются прямыми аналогами «параметрических» процедур и при отсутствии нормальности всегда лучше «параметрических».
III. Примерный алгоритм действий:
1️⃣ Изучить природу данных на этапе подготовки к исследованию. В этом могут помочь, например, общее понимание о происхождении данных (что и как измеряется), а также данные пилотного или прошлых исследований и др.
2️⃣ На этапе планирования исследования предположить характер распределения данных. Исходя из этого предусмотреть преобразование данных (например, логарифмирование), необходимость стратификации (анализ показателей в подгруппах), обработку экстремальных значений и т.д.
3️⃣ До начала анализа данных выбрать эстиманд, который соответствует решаемой предметной задаче, природе данных и предполагаемым свойствам их распределения. На основе этого выбрать статистическую процедуру (эстиматор, тест, ДИ).
4️⃣ Использовать выбранную процедуру (тест, ДИ) для собранных в исследовании данных.
5️⃣ В случае наблюдения незапланированных особенностей данных, которые существенно расходятся с исходными представлениями (постановка предметной задачи, ожидаемые свойства распределения и т.п.):
- провести анализ чувствительности;
- рассмотреть возможность формулирования и решения новой предметной задачи с новым последовательным прохождением пп. 1-4. Уже имеющиеся данные могут послужить как пилотные для следующего исследования.