ИИ изучил 2500 уголовных дел и насовершал ошибок

Выше уже писал, что меня настораживает сама формулировка «анализ доказательств», который собираются поручить ИИ в российском правосудии. Под ней ведь можно понимать очень разную интеллектуально-рутинную работу.

По этой теме попалось интересное исследование Yutong Yao и соавторов, опубликованное буквально на днях. На материалах 2500 рассмотренных уголовных дел об убийствах из пяти стран они проверили 9 языковых моделей. Среди заданий были извлечение описанных обстоятельств и составление портрета неизвестного преступника - тот самый «анализ доказательств» по смыслу российской концепции. Для последней задачи из документов убрали прямые сведения о преступнике и информацию, появившуюся после задержания, оставив описание места происшествия и свидетельские показания.

В среднем модели лучше справлялись с извлечением сведений, чем с выводами о неизвестных характеристиках человека. Среди проблемных вопросов оказались мотивы и отношения с потерпевшим. Причем даже те ИИ, которые справлялись «лучше», все равно делали важные ошибки.

Есть и показательный результат про предубеждения, о котором я говорил выше. Когда в материалах дела четко не устанавливался пол преступника, модель считала, что преступление совершил мужчина в более чем 90% случаев.

Это и есть конкретный признак того, что сама по себе настройка модели и обучение ее на неконтролируемом числе источников порождают заведомо стереотипный и необъективный результат, в настолько фундаментальном вопросе. С точки зрения расследования уголовного дела и осуждения, представьте, какого это, узнать, что все это время нужно было искать даже лицо другого пола?

Если цель внедрения ИИ в судебную систему - уйти от субъективизма и добиться той самой «Фемиды с повязкой на глазах», то с помощью ИИ этого точно добиться не удастся. Во всяком случае, пока что.

Кроме того, ИИ допускали ошибки и в разграничении предположений и фактов. Например, с тем же «мужчиной» как неизвестным потенциальным преступником - это чистой воды предположение модели, выведенное из какой-нибудь внешней статистики или, возможно, какой-нибудь статьи на Reddit, которые тоже использовались для обучение. Куда здесь деваются процессуальные запреты ст. 302 УПК РФ про приговоры, основанные на предположениях? Кто это будет отлавливать и как?

Мне как защитнику в «ИИ-изированном» процессе важно будет понять, нашла ли модель основание своего вывода по результатам «анализа доказательств» в конкретном томе и листе дела или достроила его из представлений о том, как «обычно бывает»? Какие другие источники она рассматривала? И могу ли я вообще увидеть и оспорить этот переход, если в судебном акте останется только готовая формулировка, а с «алгоритмом думанья» меня не ознакомят?

В общем, я не против помощника, который быстро поможет найти нужное доказательство в двухстах томах дела. Но хотелось бы сначала убедиться, что он отличает концепты «в материалах есть сведения» и «из материалов можно это предположить», что критически важно для объективного и обоснованного правосудия.

И особенно важно, чтобы ответ «неизвестно» не считался техническим недостатком, который надо исправить более уверенным обвинением - все же ИИ хотят быть полезными своим хозяевам-судьям, что разрушит стандарт «вне всяких разумных сомнений».