Автор: Юрий Шатров
#️⃣ Недавно в компании обсуждали, какие философские вопросы интересуют нас. И по следам я решил собрать основные волнующие меня вопросы в оценке персонала. Они тоже носят скорее философский характер, так как принципиально неразрешимы на текущем уровне развития нас как вида / ИИ или упираются в какие-то фундаментальные законы мира.
Делюсь с вами, потому что, во-первых, мне эти вопросы кажутся интересными; во-вторых, они могут указывать на границы того, что мы делаем.💬
1️⃣ Каковы причины потолка валидности в условных 0,5 — и сможем ли мы когда-нибудь его преодолеть?
Это проблема дифференцирующей способности наших инструментов / ненадёжного внешнего критерия / неизбежного зазора между прогнозом и фактом (см. пункты 2–4) / принципиальной экзистенциальной свободы человека от характеристик, которые мы приписываем ему в оценке?
2️⃣ Как учитывать разные виды мотивации участника к прохождению оценки?
Желание и нежелание проходить оценку, обманывать её, угадывать правильные ответы и ожидаемые действия — всё это мы плохо отделяем от фактических результатов участника и далее от наших выводов. А есть ли истинный балл (настоящая правда о человеке) за его искажениями и самопрезентациями?
3️⃣ Как учитывать эксперта, проводящего оценку?
Принято думать, что эксперт (в отличие от теста) — непоколебимый и непредвзятый. Но у него есть личность, которая влияет на его работу. И эта личность как-то влияет на оценку — и на процесс, и на результат. А ещё больше влияют отношения, которые складываются между двумя людьми. Как учитывать эти переменные на практике?
4️⃣ Как учитывать социально-организационные условия, в которых работает / будет работать человек — и ситуативную специфичность его поведения?
В одних ситуациях мы демонстрируем одно поведение, в других — другое. Как собирать информацию о среде, чтобы учитывать её в оценке? Как измерять диапазон поведения участника в разных ситуациях? Даже так: человек и ситуация — не независимые переменные. Человек выбирает и создаёт ситуации, а в оценке мы предсказываем поведение в ситуации, которой ещё нет.
5️⃣ Что делать с тем, что эффект инструмента сильнее, чем эффект оцениваемого критерия?
Грубо говоря, социальный интеллект, измеренный в центре оценки и в опроснике, — это два разных социальных интеллекта. Из этого следует несколько проблем: конструктная валидность моделирующих упражнений (и далее — task-based и ролевая оценка как решение); frame-of-reference тренинги для экспертов и руководителей; низкая внутренняя согласованность кейс-тестов. Так ли, что экспертная оценка проводится по совсем другим правилам и к ней не нужно предъявлять психометрические требования? Но тогда верно и обратное: психометрика не может измерять те же конструкты, что и эксперты с их эвристиками (например, компетенции).
6️⃣ Получится ли у нас когда-либо создать в оценке универсальную модель конструктов — такую, которая будет научно доказана, принята большей частью бизнес- и научного сообщества?
Да, есть Большая пятёрка и, допустим, Тёмная триада (и то — на уровне корреляций они могут быть перевёртышами друг друга). А что с мотивацией? Ценностями? Интересами? Типами? Состояниями? Компетенциями? И прочими конструктами, которыми мы пытаемся описать друг друга. А как они соотносятся друг с другом — нет ли тут бесконечной языковой игры, когда мы называем одни явления разными словами (и одинаковыми словами — разные явления)? Или инфляция конструктов будет бесконечно продолжаться, потому что мы находимся в ловушке гуманитарного — до конца не проверяемого — знания (а также желания людей предлагать что-то новое и что-то с этого получать)?
7️⃣ Как соотносятся групповые и индивидуальные конструкты?
Измерение в психологии — практически всегда индивидуальное. Просто далее индивидуальные оценки могут аккумулироваться на уровне группы. Командная оценка только появляется (оценка команды сразу как цельного организма) — и там интересно, а как групповые оценки связаны с индивидуальными. Иными словами, как соотнести, связать оценку группы и оценку индивидов?
Перечитал и вижу: почти все пункты — про пределы научного познания в оценке. Есть остаток — то, что в живом человеке не формализуется. Один ответ на вопрос, что с этим остатком делать, — ничего: свобода человека и сложность мира дают необъяснимую дисперсию. Но сама оценка (да и я как оценщик) с этим не согласна: в момент, когда мы выносим суждение и ставим балл, мы фиксируем человека, заковываем его в форму.
Поэтому мой главный вопрос — в цене. Дойти до валидности 0,9 теоретически можно двумя способами: сузить то, что предсказываем, — не карьеру, а задачу на следующую неделю; или расширить то, что собираем, — не два часа теста, а непрерывный след поведения (скорее всего пожизненный). Первое делает оценку менее полезной, второе — человека менее свободным.
Читайте нас там, где удобно: Assessment Point в Максе