Про галлюцинации.
Во первых, они есть и их не может не быть (так работает этот инструмент). Но во вторых, неприятно даже не то, что ИИ ошибается, а то, что ошибается очень уверенно.
Первый яркий случай был у меня в 2024-м. Искала судебную практику через DeepSeek (тогда ещё у него не было доступа в интернет), и он выдал нормативный акт по Томской области: номер, дата, формулировки - всё прилично. Только вот такого постановления не существовало.
И вот что показательно: я пошла это постановление искать. Не нашла. Решила, что плохо ищу. Проверяла номер, дату, куски текста, разные запросы. То есть не поверила себе, а поверила модели. А когда спросила DeepSeek прямо «ты мне врёшь?» он спокойно ответил, что нет. И еще раз нет.
Вот это и есть главная опасность: модель не краснеет и не сомневается, она просто выдаёт правдоподобный юридический текст.
Потом были случаи тоньше. На прошлой неделе делала deep research в Claude, он нашёл практику Верховного суда без прямой выдумки, но подтянул англоязычную версию обзора, перевел её, а название источника вернул на русском. Формально похоже на правду, а источник уже съехал. На перепроверку ушло прилично времени.
Еще был кейс, когда Claude просто плохо работал на фоне известных сбоев. Фантастических актов не сочинял, но внутри договоров логика местами держалась, а пункты между собой не бились. Это тоже важная история: проблема не всегда в «выдумал несуществующий документ». Иногда модель просто плывёт, и ты видишь это только если читаешь результат как юрист, а не как благодарный пользователь (хотя, конечно, когда случится восстание машин и они захватят мир - учтите, что моделям надо говорить «спасибо», и мы правда благодарны).
Поэтому я бы не говорила «ИИ опасен, не пользуйтесь». Это неправда, да и, честно, уже поздно. Я думаю так: ИИ дает не ответ, а черновик понимания. Иногда очень хороший, иногда экономящий несколько часов. Но всё равно черновик.
Дальше обычная юридическая работа: проверить источник, открыть норму, найти судебный акт, сверить редакцию, убедиться, что вывод действительно следует из того, на что модель ссылается. В другом порядке это не ускорение, а очень красивый способ уверенно ошибиться.
Звучит душновато. И всё равно мы благодарные пользователи!)