👀 Methodology Detective: Case #1 – Разбор полётов

Условие задачи:
Исследовательница набрала 100 учеников своей школы, дала им приложение для снижения тревожности на 4 недели, а в конце опросила их. 78% тех, кто использовал приложение каждый день, сообщили о снижении тревоги. Вывод: «Приложение эффективно снижает тревожность у подростков».

Вопрос: Найдите методологическую ошибку, объясните, почему она разрушает вывод, и предложите улучшенный дизайн.

🤩 Теперь делимся правильным ответом
Лучший вариант, который нам прислали (на фото 💔), содержал два ключевых замечания:

💔 Ошибки:
🍂 Слишком широкое обобщение – выборка только из одной школы. Результаты можно применить лишь к ученикам этой школы, а не ко всем подросткам.
🍂 Неучтён режим использования – анализ сделан только для тех, кто использовал приложение каждый день. Нет доказательств, что оно поможет тем, кто использует его с перерывами (например, раз в два дня).

💔 Почему это подрывает вывод:
💔 Вывод звучит так, будто приложение помогает любому подростку, а данные этого не подтверждают.
💔 Исследование изначально не планировало проверять разные частоты использования – вывод относится лишь к подгруппе «ежедневных пользователей», которая могла быть более мотивированной.

🍂 Улучшенный дизайн (от того же участника):
Взять 100 разнообразных учеников (случайная выборка) или в конце чётко ограничить вывод («среди учеников моей школы / города»).
Разделить их на 4–5 групп (включая контрольную), каждой задать разную частоту использования приложения в неделю.
Через 4 недели сравнить результаты и сделать вывод для каждой частоты. Затем аккуратно обобщить результаты.

💔 Дополнительно можно добавить:
🍂 Замер тревожности до и после.
🍂 Слепой дизайн (участники не знают, какая частота считается «рабочей»).
🍂 Статистическую проверку различий между группами.

🍂 Итог: Автор ответа на фото верно определил проблему обобщения и проблему самоотбора по частоте использования, а также предложил реалистичный и воспроизводимый план с разными группами. Молодец!