С одной стороны, алгоритмы, основанные на машинном обучении, которые используются для принятия решений о людях или прогнозирования их будущего поведения, часто позиционируются более справедливыми и объективными. Однако на практике использование таких систем не гарантирует ни объективности, ни справедливости, поскольку они могут быть подвержены влиянию эмоций или субъективных убеждений, заложенных в обучающие данные. Если данные необъективны, то созданное на их основе программное обеспечение будет выдавать необъективные результаты.
Примером этому является американское программное обеспечение COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), которое используется в судах для оценки вероятности рецидива со стороны подсудимого. Полученная оценка риска используется при принятии решений об освобождении под залог, назначении наказания и условно-досрочном освобождении.
Расследование, проведенное журналистами сайта ProPublica, показало, что COMPAS в два раза чаще давал ложноположительные результаты в отношении чернокожих и в два раза чаще ложноотрицательные результаты в отношении белых, хотя её создатели утверждали, что система не учитывает расу как значимую характеристику.
Исследование 2022 года показало:
Хотя использование оценок риска рекламировалось как реформа, направленная на защиту общественной безопасности и снижение предвзятости в отношении обвиняемых, непрозрачность алгоритмических оценок риска и расистские рекомендации вызывают серьёзные опасения. ... [Проанализированные с точки зрения прав на равную защиту] досудебные алгоритмические оценки риска явно дискриминируют по признаку расы.
---
✍️ Практика показывает, что использование ИИ-систем и программного обеспечения, созданного на основе алгоритмов машинного обучения, действительно может привести к несправедливой дискриминации и усугублению неравенства в обществе. Чтобы такого не происходило, требуется высокий уровень контроля за репрезентативностью данных, используемых для обучения моделей ИИ. В противном случае существующие социальные предубеждения будут увековечены в применяемых алгоритмах.
#общество