Коллега попросила недавно оценить проверочный тест финансовой грамотности.
Я вспомнил о двух непростительных ошибках для таких тестов. Если вы проверяете чужие знания, то вам это будет полезно. А остальным - надеюсь, просто интересно.
1️⃣ Первый смертный грех тестирования
Подсказка правильного ответа
Напрямую в тесте подсказать сложно.
Но если среди ответов есть, например, абсолютно неадекватный, то автор теста убирает один из вариантов. И угадывать можно из меньшего количества.
Пример:
Инвестор вложил 234 рубля, через три года получил 345 рублей. Какова его доходность в процентах?
А. +579%
Б. -11%
В. +47,5%
Г. +16%
Шанс угадать - 50%, т.к. первые два варианта заведомо неверные. Отвечающий выбирает только из 2х вариантов, а не из 4х.
Проверка на внимательность: правильный ответ - В, а не Г. Проценты и проценты годовых - это разные вещи.
Вторая разновидность этого греха - отсутствие популярного ошибочного ответа.
Человек решает задачу из теста неправильным способом и видит, что такого ответа среди доступных вариантов нет. Значит, решение точно неверно. Результаты теста будут сильно смещены в сторону правильных ответов.
Пример:
Инвестор вложил 234 рубля, через три года получил 345 рублей. Какова его доходность в процентах годовых?
А. +47,4%
Б. +13,8%
В. +27,6%
Г. +9,3%
Самая частая путаница - простые и сложные проценты.
Решаем задачу по формуле простых процентов, получаем 15,8%. Такого варианта нет, поэтому решаем снова уже по формуле сложных процентов.
Такой вопрос никак не покажет долю людей, понимающих разницу между двумя показателями. Те, кто ее не понимает, все равно ответят на вопрос правильно.
✍🏼 Нужно в варианты ответов обязательно включать и 15,8%, и 13,8%.
2️⃣ Второй смертный грех
Правильный ответ неправильным способом
В тестах обычно не даются задачи общего вида, а рассматриваются конкретные частные случаи.
И может оказаться так, что для конкретной ситуации два показателя (правильный и неправильный) равны между собой.
Поэтому даже если человек решает задачу неправильно, по ответу на тест вы этого не увидите.
Пример из геометрии:
Если взять окружность радиусом 2, то и длина окружности, и площадь круга будут равны 4pi. Ошибся ли ученик, проверить невозможно.
Пример из финансов:
Выручка 400 тысяч, расходы 300 тысяч. Активы 1 000 тысяч, обязательства 600 тысяч. Чему равна рентабельность бизнеса?
А. 25%
Б. 33%
В. 10%
Д. 40%
Рентабельность бизнеса считается как отношение прибыли к выручке.
(400 - 300) / 400 = 100 / 400 = 25%
Но кто-то может рассмотреть "инвестиционную точку зрения" и рассчитать ROE - поделить прибыль на собственный капитал (активы минус обязательства).
(400 - 300) / (1 000 - 600) = 100 / 400 = 25%
В итоге, человек посчитал вообще не то, что нужно, но все равно ответил на вопрос верно.
⚠️ Надо подобрать такие числа, чтобы разные показатели не совпадали.
Например, увеличить активы до 1100. Тогда рентабельность бизнеса останется 25%, а ROE будет 20%.
Не забудем и про первый смертный грех - в вариантах должны быть и 25%, и 20%.
❓ Вопрос на засыпку - почему не стоит в задаче увеличивать активы до 1200 или уменьшать их до 900?
Я во всех задачах обязательно указываю среднее арифметическое среди вариантов ответа. Знаю, как все любят этот показатель.😛