К концу 2025 класс юриста будет на 90% определяться классом его ИИ-ассистента.Модели рассуждений совершили прорыв в квалификации навыков и производительности юридической практики. Первое рандомизированное контролируемое исследование, оценивало выполнение студентам-юристам старших курсов шести юридических задач с использованием:
- юридического инструмента ИИ на основе RAG (Vincent AI),
- модели рассуждений ИИ (O1-preview OpenAI)
- или без ИИ (как это привычно делают и по сей день юристы всего мира).
Исследование показало:• Оба инструмента ИИ значительно повысили качество юридической работы.
Помощь ИИ значительно повышает производительность в пяти из шести протестированных юридических задач, причем:
- Vincent дает статистически значимый прирост примерно
от 38% до 115%- o1-preview увеличивает производительность
от 34% до 140%, с особенно сильным эффектом в сложных задачах, таких как составление убедительных юридический писем и анализ юридических жалоб.
• Использование моделей рассуждений улучшают не только ясность, организацию и профессионализм юридической работы,
но также глубину и строгость самого юридического анализа.
• Количество галлюцинаций оказалось крайне невелико. А у Vincent AI оно было примерно
таким же, как и у студентов-юристов, которые вообще не использовали ИИ (увы, но и люди склонны к конфабуляциям).
• Полученные результаты резко контрастируют с предыдущими исследованиями, изучавшими старые большие языковые модели, такие как GPT-4.
Иными словами,
произошел прорыв, связанный с появлениям у моделей способности рассуждать.
Главных выводов два.1. Результаты исследования убедительно показали, что интеграция возможностей RAG, специфичных для предметной области, с моделями рассуждений даёт прорывное
синергетическое улучшение уровня юридической компетенции и производительности труда.
2. Такие результаты не только знаменуют очень скорый приход следующего поколения юридических инструментов на основе ИИ, но и
кардинально изменит будущее адвокатуры в целом.
#LLMvsHomo