NPS в обучении: что говорит на самом деле?

NPS или Net Promoter Score, а наиболее часто используемом переводе - индекс потребительской лояльности. Это очень простой опрос, который сегодня используется во всем мире для того, чтобы оценить, насколько клиенты компании заинтересованы в продуктах и услугах. Там, где раньше клиентов опрашивали по большим опросникам, теперь задают только один вопрос “Будете ли вы рекомендовать наш бренд своим друзьям или родным?”. В качестве ответа предлагается выбрать цифру от 1 до 10. Ответы принято делить на Промоутеров (ответы 9-10), Нейтральных (7-8) и Критиков (0-6). Расчет индекса: NPS=Количество Промоутеров - Количество Критиков. Чем выше значение, тем лучше у нас дела.

Эту метрику активно используют в обучении. Ее просто собрать и посчитать. И по аналогии с бизнесом она кажется работающей и наглядной. Но вот тут хочется задать вопрос - действительно ли желание порекомендовать обучение другим связано с его истинной эффективностью? И есть ли вообще связь? О чем на самом деле говорит NPS в обучении?

Представим, что обучение было простое и легкое. Какой будет NPS? Скорее хорошим, особенно если спросить сразу после. Все было хорошо, почему не рекомендовать? Но к эффективности обучения это не относится. Легкое и простое обучение может, наоборот, быть крайне неэффективным. Зато приятным.

Существенное же обучение легким не будет. Оно будет сложным и, возможно, даже не самым приятным в процессе. С ошибками и пересдачами, с необходимостью сидеть и разбираться. Такое обучение будут рекомендовать? Вот тут вопрос. Если человек после обучения сразу понимает, какая от него польза - скорее да. А если еще не понятно как использовать и вопросов много? NPS может быть невысоким, но при этом обучение окажется качественным, просто это осознание придет не сразу.

А еще есть когнитивное искажение - мы запоминаем процесс по его окончанию. Почти во всех работах по поведенческой экономике есть пример про отпуск, который при плохом обратном перелете и потере багажа запоминается в более негативном свете, даже при том, что сам по себе он прошел отлично. Тогда если у нас в конце обучения сложное задание или тест, который мы не прошли с первого раза или получили не самый лучший балл, то каким будет NPS?

Я не хочу сейчас сказать, что NPS не работает и замерять его не нужно. Я о том, что это не единственная и, скорее всего, не самая надежная метрика для обучения.

Тут сразу вопрос - а что тогда замерять? Есть такой индекс Scrap Learning. Scrap дословно - металлолом или утиль. То есть индекс неприменимости обучения. Для его оценки слушателей после обучения спрашивают о том, какой примерно процент изученного они будут использовать в рабочей деятельности. И если слушатели говорят, например, 60%, то индекс будет равен 40%, то есть 100-60. По этой метрике можно посмотреть, какой объем материала слушатели “взяли себе”, а сколько было лишнего. Правда, потом нужно будет разбираться с тем, что именно лишнее.

Еще есть метрики изменения показателей деятельности. И вот они по сути - самые ценные. Для их измерения мы должны понимать, что есть сейчас и что произошло после обучения. И пусть это порой не очень просто анализировать, это единственные параметры, которые говорят о том, что обучение работает.