Разбор кейса: ИИ не ошибся. Он честно выучил то, что ему показали

❌ Что произошло: система стала занижать оценку женщинам.

По данным Reuters, она снижала баллы резюме, где встречалось слово «женский», например «капитан женского шахматного клуба». И понижала выпускниц двух женских колледжей.

Никто её этому не учил. Она сама вывела правило из данных: за 10 лет большинство резюме в компанию присылали мужчины, так выглядела вся техническая отрасль. Система посмотрела на историю и решила, что так и надо.

❓Где сломалось:
— Учили на прошлых решениях, а не на правильных. ИИ не знает, каким должен быть найм. Он знает только, каким найм был. И повторяет его вместе со всеми перекосами.
— Чинили симптом, а не причину. Конкретные слова из оценки убрали. Но гарантии, что система не найдёт другой признак для той же сортировки, не было. Поэтому проект и закрыли.

Но хорошо, что решение не отдали машине целиком. Рекрутеры смотрели на звёзды, но решали сами. Без этого ошибка ушла бы в найм.

Причём тут вы, если своей нейросети у вас нет? Когда вы даёте ИИ пять резюме «хороших кандидатов» и просите найти похожих, это тот же механизм в миниатюре. Вы учите нейросеть своим прошлым решениям. Вместе с ошибками, о которых вы не знаете.

Что делать:
1️⃣ Давать ИИ критерии, а не примеры «идеальных». Не «найди похожих на этих», а «оцени по этим пяти пунктам»
2️⃣ Прогнать через скрининг резюме своих сильных сотрудников. Если система отсеет половину, дело не в сотрудниках
3️⃣ Финальное решение по кандидату оставлять человеку. Всегда

Сохраните, чтобы вспомнить перед следующим скринингом 🔖

Диджитал в МАХ 💭