"Золотое правило инференса"

Один параметр нейросети = двум байтам. Если без сжатия. Почему это так, почему не один бит, я не интересовался [1], но допустим это так (как юрист я сомневаюсь даже в законах физики, потому как по мере роста знаний они тоже переписываются).

Важно, то что новейшая Grok 4.7 содержит 2.1 триллиона параметров, соответственно чтобы держать эту модель в памяти , этой самой памяти требуется порядка 4200 Гб. И это будет нижняя граница.

Обучение ещё больше, почти в 4-6 раз.

Неудивительно, что стоимость видеокарт и карт памяти растёт в стратосферу.

С другой стороны, вместо облачного гейминга, даже жители Саранска получили облачные вычисления.

Правда мощности Саранского ЦОДа решают задачи мордовских министерств, а для юридических вопросов приходится идти козьими тропками VPN на поклон Альтману, Маску и Амодеям.

Хотя есть ещё несколько американцев и китайцев.

Всякий раз запуская вычисления чувствую себя немножко предателем: чем больше я объясняюсь с зарубежной нейронкой как правильно составлять юридический документ, тем больше у неё материала для обучения. Так что ещё неизвестно, кто кому должен платить за работу с нейронкой.

Сейчас же важно другое, юрист каждый день обязан использовать удалённые серверные вычисления (облачный компьют), хотя бы и этим риском отдавать свои неявные знания зарубежным корпорациям.

Потому как сегодня это по сути единственный способ быть эффективным в поручениях наших доверителей.

И чем больше я рассуждаю на эту тему, тем больше я думаю о том, что независимое юридическое сообщество обязано вывести на площадку ООН требования о гарантиях использования адвокатами (частнопрактикующими юристами) нейросетевых вычислительных технологий.

#роль_юриста #Гаванские_принципы

[1] Grok пишет, что математически возможно, практически нецелесообразно - качество ответов падает. Чую тут есть какой то подвох, разбираться не стал. Я всё же юрист, а не Ферма.