Когда ИИ ошибается: провал Amazon в AI-рекрутинге 🤖

ИИ сегодня проникает во все сферы жизни — от медицины до рекрутмента. Amazon — одна из ведущих компаний в применении машинного обучения, и их алгоритмы успешно работают в рекомендациях, логистике и персонализации. Однако даже у них бывают провалы. Один из самых громких случаев связан с AI-рекрутером, который должен был автоматизировать найм, но вместо этого стал дискриминировать кандидатов.

👩‍💼Как Amazon попытался ускорить найм с помощью ИИ
В 2014 году компания начала разработку алгоритма автоматизированного отбора кандидатов. Идея была простой: ИИ анализирует резюме, находит лучшие и отбирает наиболее подходящих специалистов. Такой инструмент мог бы значительно ускорить процесс найма.
❌Что пошло не так?
Чтобы обучить модель, Amazon использовал резюме кандидатов за последние 10 лет. Но в IT-индустрии за этот период доминировали мужчины. Алгоритм заметил это и счел мужчин "предпочтительным" вариантом. В результате:
🔹 Кандидаты-женщины получали заниженный рейтинг.
🔹 Выпускники женских колледжей автоматически попадали в "низший" список.
🔹 Даже слово "женский" (women’s) в резюме снижало шансы на успех.
🤔 Почему Amazon отказался от AI-рекрутинга?
Компания попыталась исправить модель, но даже после правок алгоритм продолжал находить новые способы дискриминации. В 2018 году, после расследования Reuters, проект был окончательно закрыт.
Amazon официально заявил, что система не использовалась в реальном найме, но кейс стал знаковым примером предвзятости в машинном обучении.

Вывод
✅ ИИ-алгоритмы могут усиливать дискриминацию, если обучаются на исторически предвзятых данных.
✅ Даже крупные компании с огромными ресурсами не всегда могут исправить проблему.
✅ Тестирование на предвзятость — обязательный этап перед внедрением моделей в бизнес-процессы.

Этот случай показывает, насколько важно проверять данные перед обучением ИИ. Ведь если данные отражают устаревшие стереотипы, модель просто перенимает их, а не исправляет.

📌 Хотите больше разборов неудачных AI-кейсов? Пишите в комментариях!