👀
Methodology Detective: Case #1 – Разбор полётовУсловие задачи:Исследовательница набрала 100 учеников своей школы, дала им приложение для снижения тревожности на 4 недели, а в конце опросила их. 78% тех, кто использовал приложение каждый день, сообщили о снижении тревоги. Вывод: «Приложение эффективно снижает тревожность у подростков».
Вопрос: Найдите методологическую ошибку, объясните, почему она разрушает вывод, и предложите улучшенный дизайн.
🤩
Теперь делимся правильным ответомЛучший вариант, который нам прислали (на фото 💔), содержал два ключевых замечания:
💔
Ошибки:🍂 Слишком широкое обобщение – выборка только из одной школы. Результаты можно применить лишь к ученикам этой школы, а не ко всем подросткам.
🍂 Неучтён режим использования – анализ сделан только для тех, кто использовал приложение каждый день. Нет доказательств, что оно поможет тем, кто использует его с перерывами (например, раз в два дня).
💔
Почему это подрывает вывод:💔 Вывод звучит так, будто приложение помогает любому подростку, а данные этого не подтверждают.
💔 Исследование изначально не планировало проверять разные частоты использования – вывод относится лишь к подгруппе «ежедневных пользователей», которая могла быть более мотивированной.
🍂
Улучшенный дизайн (от того же участника):Взять 100 разнообразных учеников (случайная выборка) или в конце чётко ограничить вывод («среди учеников моей школы / города»).
Разделить их на 4–5 групп (включая контрольную), каждой задать разную частоту использования приложения в неделю.
Через 4 недели сравнить результаты и сделать вывод для каждой частоты. Затем аккуратно обобщить результаты.
💔
Дополнительно можно добавить:🍂 Замер тревожности до и после.
🍂 Слепой дизайн (участники не знают, какая частота считается «рабочей»).
🍂 Статистическую проверку различий между группами.
🍂 Итог: Автор ответа на фото верно определил проблему обобщения и проблему самоотбора по частоте использования, а также предложил реалистичный и воспроизводимый план с разными группами. Молодец!