💻Что не так с ИИ-юристами.

Роман Янковский опубликовал статью. Приводим некоторые выдержки из данной статьи:

В последнее время появилось много «юридических ассистентов» на базе больших языковых моделей: GigaLegal, Doczilla и др. Однако в среднем — пока — ни одна из моделей, не способна работать в «автономном» режиме, давать надежные юридические консультации неюристам.

Прежде всего, модель не имеет полного доступа к информации, использованной для обучения, она не может воспроизвести текст, на котором ее обучили. Для юристов это проблема: часто нужна именно прямая цитата закона, судебного решения и т.п.

Также, говоря о данных — модель сложно обновлять. Особенно это актуально в юриспруденции, где каждый день принимаются новые законы, решения судов и поправки к ним.

Проблема актуализации информации в модели очень остро стоит для юристов. Часто даже небольшие изменения в одном законе делают в какой-то части бессмысленными массу судебных решений, литературы и прочих материалов, на которых учили модель.

Языковая модель вбирает те зависимости, которые уже есть в первоначальных данных. И поэтому, если наши данные исходно предвзяты, ответы ИИ не могут оставаться объективными, нейтральными.

С релизом первых публичных ИИ-сервисов было много инцидентов, когда пользователи злоупотребляли моделями. Разработчики пытались внедрить ограничения, но пользователи все равно их обходили.

Ну, и все знают, что большие языковые модели галлюцинируют. Из-за этого результат модели по умолчанию не будет на 100% правильным и на 100% воспроизводимым. Для юристов это проблема. В юридических задачах модель не вправе галлюцинировать — например, придумывать несуществующие судебные решения или статьи закона. Или выдавать решение, когда верного ответа нет.

Ключевая проблема ИИ для юриста — модель не всегда строит корректную цепочку рассуждений, даже когда все исходные данные корректны. ИИ не мыслит путем формальной логики. Даже если модель делает вид, что рассуждает (идет по шагам и т.д.), на самом деле она воспроизводит паттерны, заложенные при обучении, а не оценивает каждое условие по отдельности.

Выводы

Пока качество даже самых передовых больших языковых моделей не позволяет заменить живого юриста. То количество ошибок, которые допускают модели, все еще неприемлемо и на порядок превышает результаты человека.

Во многих отраслях права ИИ уже очень хорош. Гражданское право. Базовое административное право. Здесь ИИ уже сейчас можно использовать для автоматизации рутинных задач. Очевидно, что ИИ сильно увеличивает производительность труда юристов — как минимум, в несколько раз.

При этом прогресс ИИ абсолютно точно приведет к снижению спроса на юристов. Этот спрос давно не растет, и внедрение ИИ только подстегнет этот тренд. Поэтому варианты для юристов — либо адаптироваться, либо уходить из профессии. Адаптироваться — то есть либо стать узкоспециализированным юристом в высокооплачиваемой теме, или больше работать физически (ходить в суд, преследовать злодеев). Или же двигаться в сторону творческих задач: писать нормативные и локальные акты, статьи, выступать в суде.