Я когда то слышал про локальные модели и что они умеют делать. Решил написать пост про это, но подумал, что просто рассказать про локалки как-то скучно, а вот рассказать про обход цензуры уже интереснее.
Для начала гайд, как вообще установить локалку себе на пк на примере текстовой модели.
Выбираем модель, которую дообучали для более свободных ответов. Среди таких вариантов есть Dolphin. Например, Dolphin 3.0 Llama 3.1 8B: разрабы прямо заявляют, что правила поведения задаёт владелец через системный промпт. И здесь есть нюанс. При локальном запуске запрос не проходит через облачный сервис, но сама модель может сохранять отказы, полученные при обучении. Поэтому под эту задачу важен именно выбор модели. Пометка uncensored тоже не обещает, что она ответит вообще на всё.
Теперь собираем. Скачиваете обычный LM Studio, устанавливаете и открываете Discover. В поиск вставляете dphn/Dolphin3.0-Llama3.1-8B-GGUF.Из вариантов выбираете Q4_K_M. Это модель с уменьшенной точностью весов: файл занимает около 4,9 ГБ, запуск требует меньше памяти, но часть качества теряется. GGUF — формат файла, который умеет запускать эта оболочка. После скачивания открываете Chat, выбираете модель и загружаете её в память.
Порядок запуска. Для первого запуска ставьте контекст 4096 токенов. Чем длиннее история разговора, тем больше памяти нужно. Сначала проверьте несколько запросов, потом увеличивайте. Дальше системный промпт. В LM Studio такие инструкции можно сохранить в Preset и использовать в следующих чатах. Можно сделать разные настройки под тексты, или код.
А МОЙ ПК ЭТО ВЫВЕЗЕТ?
Для Windows LM Studio рекомендует от 16 ГБ оперативки; процессору x64 нужна поддержка AVX2. Для этой 8B-модели я бы ориентировался на видеокарту с 8 ГБ памяти при небольшом контексте. Это ориентир, а скорость зависит от железа. Память нужна и для весов, и для диалога.
Требования. После загрузки модели и движка обычный чат работает без интернета, данные при полностью локальном режиме остаются на ПК. Можно хоть отключить сеть и проверить. По деньгам: если подходящий компьютер уже есть, начать можно почти за $0. Локальный запуск доступен бесплатно, за ответы не платишь, остаются электричество и время настройки.
Это первая часть поста, где я расписываю как поставить локалку на свой пк, чо она умеет, какие требования и к сожалению длина поста в тг не даст мне написать ИМЕННО про генерацию ИЗОБРАЖЕНИЙ и написание особенного КОДА, а писать статью впадлу. Поэтому я выпущу дополнение сразу как наберется 20 реакций и покажу что генерит необученная локалка с одного промпта.
Связь вась 🤓