AI-детекторы: часть 2

«Естественный» интеллект пока еще справляется с задачей идентификации сгенерированных текстах лучше. Но не везде. Например, в Китае новелла, сгенерированная ИИ, победила в литературном конкурсе. И это 2023 год, страшно подумать, на что языковые модели способны сейчас.

Применительно к юриспруденции я убежден, что генеративным моделям еще очень далеко до подражания юристу. Сужу только по своему опыту. ИИ часто прокалывается в этом:

1. Юристы очень любят пассивный залог. как бы Нора Галь его ни обличала. ИИ на этом обычно спотыкается – он любит скорее активный залог. Это логично, т.к. в обучающей выборке, которая состоит не только из юридических текстов, активный залог преобладает. Поэтому из обучения ИИ скорее всего «нахватался» именно шаблонов с активным залогом.

2. У текстов ИИ больше эмпатии к читателю. ИИ напишет «нам с вами необходимо», «мы должны», юрист в 99% случаев напишет безлично или в 3-м лице: «необходимо» или «покупатель обязан».

3. Очевидная нелогичность. Я недавно написал так: «в результате рассмотрения дела судом первой инстанции иск удовлетворен в полном объеме». В этом фрагменте, на минуточку, 5 подряд идущих существительных, а всего их 8. В таких длинных последовательностях ИИ может нарушать согласование существительных и выбирать не тот падеж. Есть шутка на эту тему, возникшая на заре обработки естественного языка: знаете самое частотное сочетание из 3 подряд идущих прилагательных? Ответ: российские железные дороги.

4. Вымышленные нормы и даты. Тут без комменатриев. Подозрения усиливаются, если нет конкретики: номера пунктов, дни в датах.

5. Необычное деление ответа на блоки и необычное именование блоков. Например, я ни разу у юристов в деловых текстах (включая письма, процессуальные документы) не встречал блок, озаглавленный так: «Почему это полезно?». А у ИИ встречаю регулярно.

6. Буква «ё». ИИ ее очень любит, а в юридических текстах я встречаю ее очень редко. Особенно ярко это выявляется при сравнении других текстов того же автора – обычно не пишет, а тут старательно везде указал «ё».

7. Специальная терминология, которую используете только ваша компания, команда, школа кунг-фу. На этом билете в социальную среду ИИ точно проколется.

Разумеется, если хорошенько поработать над сгенерированным текстом, то отличить его от человеческого будет невозможно, и, в таком случае ИИ ускорит работу юриста, что я поддерживаю обеими руками.

Какие лайфхаки используете вы?