#пг_ии_в_суде

Использование ИИ для разрешения судебных споров (часть 2)

Начало (часть 1).

Вопрос только в том: как часто ошибаются судьи, и какой процент ошибок исправляется вышестоящими судами. Желательно, чтобы судьи ошибались как можно реже и как можно больше их ошибок исправлялось. Кстати, суд первой инстанции может сделать всё правильно, а суд апелляционной или кассационной инстанции может ошибиться. Это тоже нормально, так как наука неточная.

Теперь плавно переходим к использованию ИИ в разрешении споров.

1. То, что все называют ИИ, это на самом деле LLM - большая языковая модель. Если грубо, то это тоже некий черный ящик, который долго учили всякими текстами и теперь оно может в ответ на запрос (промпт) выдавать что-то похожее на то, чему её учили.

Со всеми вытекающими последствиями. Если модель учили, как первые версии ChatGPT, на реддите, википедии, то и результат будет условно-бытовой (развивая мысль - давайте модель обучим на текстах с пикабу и, прости господи, удаффком, если он жив ещё и посмотрим, что оно будет выдавать).

То есть использовать бытовую модель для разрешения споров - это будет уровень примерно как у мужиков в курилке на работе спросить, как разрешить тот или иной спор. Модель надо учить на чем-то выверенном - собственно, Нейроюрист от Яндекса и есть такая попытка.

Кстати, выбор на чём эту модель учить, тоже не так прост. Учить на базе всех судебных актов, которые вынесли судьи? Среди них тоже есть ошибочные, значит и модель будет болеть теми же ошибками. Фильтровать "ошибочные" судебные акты? А кто ты такой, чтобы решать, какие из них ошибочные?

2. Промптинг. Никто толком не знает, как работает языковая модель. Она слишком сложна. Поэтому это уже превращается в некое подобие то ли карго-культа, то ли религиозного психоза о всемогушем deus ex machina примерно в таком ключе. Да, в ответ на мой запрос, ИИ выдает полную хрень. Но это не значит, что мой ИИ - хрень. Значит надо просто поправить запрос. Надо просто правильно спросить (ты чё пес, я не просто сую рандомные запросы в LLM, я промпт-инженер!), и тогда я получу норм ответ.

Вопрос только в том, что такое "норм ответ". Что является критерием качества ответа? Кто может его проверить? Модели же галлюцинируют, на примитивном примере - у человека на сгенерированной картинке может быть 4 пальца (сразу оговорюсь, во многих ситуациях это может быть приемлемо). Но где-то ошибки могут быть недопустимы. Например, в статье УК указано "от 3 до 5 лет", а робот выдаст приговор: 8 лет. Это ОК или не ОК? Надо кстати посмотреть фильм Милосердие Бекмамбетова.

И какие промпты судье писать? И писать ли? Или кто-то за него напишет и зашьет в ГАС Правосудие. Типа "ты - судья высшего квалифицированного класса с опытом работы 40 лет, твоя специализация - гражданские дела, в том числе имущественные споры...". Тоже пока очень много вопросов.

Кстати, запредельно интересный вопрос. Интересно сколько судей уже сейчас суют материалы дела в ЧатГПТ? Как они пишут промпты? Что получают в ответ?

3. Тем не менее, прогресс не остановить. Судьи-люди периодически лажают. Если судья-робот будет лажать в меньшем проценте случаев, это хорошо и однозначно надо внедрять. Возможно, он будет лажать как-то по-другому, но это тоже просто вопрос повышения качества работы LLM-модели по сравнению с живым судьей. Как только качество станет выше, можно внедрять.

4. Как внедрять - собственно о чем и хотел поговорить. На текущем этапе развития (как ИИ так и общества) можно было бы сделать следующий механизм.

Пусть перед вынесением решения в суде первой инстанции ИИ даёт письменное мотивированное заключение, которое также приобщается к материалам дела. Оно не является для судьи определяющим (то есть, если судья видит, что ИИ написал полную хрень, он имеет право не обращать на неё внимания).