Мир как набор стереотипов в глазах нейросети

Алгоритмы искусственного интеллекта не только генерируют изображения или тексты, но и воспроизводят общественные стереотипы. «Системный Блокъ» рассказывает, как и почему они это делают.

Кратко: о чем статья?

Причина предрассудков нейросетей — смещенные или искаженные данные, на которых они могут обучаться. Смещение происходит, когда в наборе данных одни элементы получают больший вес и/или лучше представлены, чем другие. Например, технология ИИ по оцениванию откликов на вакансии от Amazon присваивала меньшие баллы резюме со словом «женщина» и отсеивала кандидаток из учебных заведений для девушек. Этот случай называется смещением репрезентативности (Representation Bias): для обучения были представлены резюме преимущественно мужчин, в результате чего алгоритм решил, что мужчины предпочтительнее.

Предвзятость нейросетей грозит не только распространением искаженной информации и языка ненависти, но и появлением новых форм социальных стереотипов и дискриминации. Разработчики ИИ предлагают очевидное решение: тщательнее составлять базы данных для обучения. Тем не менее, мы не сможем полностью избавить нейросети от стереотипов, пока сами остаемся предвзятыми.

О других случаях предвзятости моделей и опасности, которой это грозит, читайте в полной версии статьи.

Время чтения: 11 минут

🤖 «Системный Блокъ» @sysblok