В прошлый понедельник на лекции "Человечность в эпоху искусственного интеллекта" завязалась занятная дискуссия: действительно ли важно определять границы той или иной технологии (тогда речь шла об ИИ, но это касается всех технологических решений), когда мы говорим о социальных эффектах в разработке. Даже если предположить, что не все технологии имеют явный социальный эффект, то это не отменяет их подверженности байасам или смещениям. Для себя после этой лекции я очертила вот такой примерно список проблемных мест:
- в процесс разработки уже встроены те нормы и стандарты, которые приняты профессиональным сообществом, но все ли разработчики знают об этом?
- норма инженерных решений часто отражает социальную "норму", и что ещё важнее, закрепляет её, но как можно её менять?
- как бьются рыночные (скажем, рекламные) задачи и "ответственные" технические решения?
То speech-to-text не распознаёт женщин, то CEO оказываются только белые мужчины американец, то распознаватели фото путают горилл и чернокожих...
С информационными технологиями подобные байасы легко отлавливать, потому что обучающие выборки никто толком не чистит. С большими данными и интернетом вообще можно вести энциклопедию человеческих предрассудков, о да.
История меж тем не нова. Например, в исследованиях социального конструирования технологий (SCOT) полно кейсов о том, как и почему принимаются решения о дизайне или применении и каким образом эти решения менялись (спойлер - чаще всего market-driven, но далеко не всегда).
И вот мне попадается парочка кейсов, довольно контрастных. Первый про фотоаппараты: ранние камеры не умели распознавать people of color, но техники честно старались их настроить. А второй - про сегодняшний Facebook, а точнее его туалеты и мыльницы: диспенсер не распознаёт руку своего работника из Нигерии. В 2019 году, Марк!

[Первый] http://www.openculture.com/2018/07/color-film-was-designed-to-take-pictures-of-white-people-not-people-of-color.html
[Второй] https://mobile.twitter.com/nke_ise/status/897756900753891328