Искажение выбора: как AI-оценка сбивает с пути в компанию мечты

Немного цифр: около 99% опрошенных компаний используют ИИ в своих процессах найма, 74% считают, что ИИ может оценить совместимость кандидата и должности, 88% HR могут распознать, использует ли кандидат AI, в некоторых случаях время найма сокращается на 70% (Hiring Report, statistic).
Ложка дегтя?
ИИ может проявлять расовую и гендерную предвзятость (предпочтение именам, ассоциируемым с белыми, в 85% случаев по сравнению с 9% для имен, ассоциируемых с чернокожими, и 52% для мужских имен по сравнению с 11% для женских), дискриминация по акценту и инвалидности ( трудности с точной транскрипцией акцентов - ошибки до 22% для носителей неанглийских акцентов, потенциально ставя в невыгодное положение кандидатов с нарушениями речи), профессиональная сегрегация (предпочтение мужчинам-кандидатам на более высокооплачиваемые должности). Кандидаты используют дипфейки, генерируют фейковые документы, пишут CV и т.п.

Естественно, все это доставляет дискомфорт (66% взрослых в США заявили, что не будут подавать заявку на работу, где используется ИИ в процессе принятия решений).
Но кто вас будет спрашивать?
Дружественные чат-боты, скрытый скоринг, «игровые» тесты и автоматические отказы - примеры манипуляций.

Помните, что системы ИИ, используемые для найма, могут просто деморализовать кандидата (ИИ-HR на собесе 14 раз повторил одну фразу), предлагать разумно звучащие» объяснения для решений, которые сфабрикованы или необоснованны, создавать ложное чувство справедливости или объективности при принятии решений.
Кейсы: iTutorGroup пришли к соглашению с EEOC на сумму $365 тыс. долларов (ИИ отклонил заявки 200 кандидатов (женщин старше 55 лет и мужчин старше 60 лет), Mobley против Workday, Inc ( суд процесс, дискриминация кандидатов по признаку расы, возраста и инвалидности)

Обучение только на правильных данных не помогает избавиться от галлюцинаций, массовая обратная связь от пользователей не является решением (Yale research) . Поиск продолжается…

Что делать сейчас? Прозрачность должна быть важнее манипуляций. Риски потери репутации и огромные штрафы могут быть хорошим стимулом.
HR:
- четко обозначайте использование автоматизации, чат-ботов.
- человеческий контроль над системой и процессом принятия решения;
- давайте настоящие объяснения принятия решений, а не общие шаблоны;
- предоставляйте реальную возможность отказаться от автоматических оценок;
- избегайте геймификации, скрывающей профилирование или стресс-тесты;
- основывайте обратную связь на проверяемых данных, а не на импровизации ИИ.
Кандидатам:
- оптимизируйте резюме под ИИ;
- уточните, какие ИИ-инструменты используются на собесе, для каких целей, как принимается решение. Не доверяйте обратной связи вслепую ( фраза типа «Вы не соответствуете культуре компании» может быть сгенерирована без реальных оснований), уточняйте на чём основано решение?
- помните, что вы имеете право на обжалование решения, если оно было принято ИИ.
#UXWatch