Осторожно, вы в «риск-листе»
В Британии вскрылась очередная мрачная история про искусственный интеллект и полицию. На этот раз обошлось без Palantir.
С 2016 года местный совет и полиция Эйвона и Сомерсета вели гигантскую базу Think Family Database почти на полмиллиона жителей. Туда сохраняли все подряд: полицейские сводки, проблемы с жильем, психическое здоровье, подростковые беременности, посещаемость школы, бесплатные обеды, участие родителей в курсах и так далее.
🔻Подробнее о базе
▪️Затем внедрили машинное обучение и начали присваивать жителям «риск‑баллы» — кто может стать преступником, жертвой, пропасть, попасть в криминальную среду. На основе данных сформировали 23 модели, по которым оценивалась возможность участия человека в тех или иных действиях (грабеж, риск не явиться в суд, вероятное исчезновение).
Картинка поначалу выглядела красиво: большие данные, забота о детях, превентивная работа. Но на практике все оказалось куда более приземленно.
▪️Социальные работники говорили, что алгоритмы в основном выдавали тех же детей, о которых они и так знали. Потом стало хуже: когда полиция попыталась расширить модели на весь регион и перестала использовать подробные данные городского совета, точность рухнула.
Символично, что один из алгоритмов для прогнозирования грабежей несколько лет работал с точностью меньше 10% — то есть девять из десяти помеченных «опасными» людей на деле ничего бы не совершили, но потенциально могли бы попадать под особое внимание полиции.
📌На этом фоне особенно интересно, что именно из этой региональной истории выходит человек, который сегодня продвигает ИИ по всей британской полиции. Бывший глава полиции Эйвона и Сомерсета Энди Марш теперь руководит Колледжем полиции и участвует в запуске PoliceAI — национальной инициативы с бюджетом в десятки миллионов фунтов, которая должна развернуть ИИ‑инструменты во всех 43 полицейских управлениях Англии и Уэльса.
❗️Ситуация в Бристоле показывает, что на практике такие проекты легко превращаются в непрозрачные системы, где одна неудачная модель может тихо влиять на жизни сотен тысяч людей. Вот только едва ли это остановит британские власти.
#Великобритания #ИИ
👁@evropar — на пороге смерти Европы
💸 Поддержать нас