Вот пример. В 2014 г. правительство Нидерландов запустило программу System Risk Indication (SyRI), основанную на искусственном интеллекте, для выявления мошенничества при получении социальной помощи. Для создания профилей риска использовались различные массивы данных, включая личную информацию граждан без их ведома. Риск-индикаторы никогда не раскрывались, но известно, что среди них были, например, низкое потребление воды при получении пособия одиноко проживающими людьми (предположительно, сигнализирует о проживании в другом домохозяйстве) и данные о национальности и внешности (“не-западная внешность”).

Программа ложно обвинила десятки тысяч человек в мошенничестве, большинство из малообеспеченных и семей иммигрантов. Обвиненные были вынуждены вернуть пособия на детские сады и ясли. В 2020 г. использование SyRI было признано незаконным (“ нарушены основные принципы правового государства”), в 2021 г. правительство Нидерландов признало ошибки и ушло в отставку.

◽ SyRI представляла собой инструмент поддержки обнаружения мошенничества и контроля за ним (фрейм 1)
◽ Но SyRI была “черным ящиком”, и данные, которые она генерировала, были низкого качества (фрейм 2)
◽ Проектировщики системы использовали латентную антииммигрантскую риторику, алгоритмы обучались на данных, указывающих на иностранное или двойное гражданство (фрейм 3)
◽ Результаты SyRI опирались на цикл обратной связи, в рамках которой идентификация и последующее наказание "мошенников" усиливало веру в то, что недавние иммигранты и лица с двойным гражданством злоупотребляют системой социальной помощи. Это позволило программе продолжать работу в течение почти 10 лет, прежде чем были предприняты действия по исправлению проблемы (фрейм 4)
◽ Если бы система SyRI была разработана и внедрена должным образом, она значительно усилила бы возможности налоговой службы (фрейм 5)
◽ SyRI снизила возможности налоговой службы, опора на SyRI в течение десятка лет препятствовало корректному выявлению рисков мошенничества (фрейм 6)
◽ Ксенофобия, намерение сохранить национальную идентичность, рост популизма в обществеработали в поддержку внедрения SyRI (фрейм 7)
◽ В итоге действительный эффект внедрения ИИ - несправедливое обвинение в мошенничестве законопослушных людей (фрейм 8 )