Вижу тенденцию на высмеивание тех, кто пытается задействовать локальные модели для юриспруденции в своем контуре. Главный аргумент - чё вы там помешались на этой своей безопасности и ПДн, кому вы нужны... Я тут в бесплатный чат жипити данные клиентов сливаю, и мне норм, зато меня не заменят, а вас уж точно, староверы вы эдакие!

Да, топ-тир модели от Gemini Pro, ChatGPT, Claude, конечно же, справятся с любой задачей лучше и быстрее локальной модели, но вот вам два поддерживающих аргумента, чтобы вы не забрасывали (или начали) экспериментировать с локалками:

1. Компания OpenAI планирует получать процент от результатов работы своих клиентов, полученных с помощью ИИ. Так что любителям халявных токенов стоит приготовиться отстёгивать процентик со своих ИИ-юристов.

2. Nvidia научилась в 3–4 раза эффективнее использовать память на инференсе и поделилась с сообществом. Ну, тут сразу две шокирующие новости:
Во-первых, как можно чем-то бесплатно делиться? Нвидиа совершенно не умеет делать бизнес...
Во-вторых, если сейчас ускорить даже "простенькую" модель с алиэкспресса на 32 миллиарда параметров, то это будет вполне рабочий воркфлоу на любом компуктере, и это ох как круто! Я уже довольный потираю ручки (эксклюзивное видео этого процесса см. в комментариях)

LawCoder