После установки подходящей модели на ПК ее можно настроить. Делается это более гибко, чем в облачных нейросетях (ChatGPT, Claude, Gemini)
#ЛокальныеМодели@ii_papka
Настроиваем контекст
— По умолчанию стоит 2048 токенов, это очень мало, хватит на 2-3 запроса.
— Расширял до 65536 токенов, но можно поставить 32768 токенов или кратно меньше, исходя из объема чата
— Если понадобится больше, то можно настроить это в меню загрузки нейросети
Настраиваем нейронку
Справа есть окно: "Model Parameters". Там есть много настроек, которыми нужно воспользоваться
— System Prompt. Можно задать роль нейронке или написать общие инструкции. Удобно задавать правила пользования MCP-серверами, особенно, если их много. К примеру (не больше 4-5 вызовов поиска за раз)
— Temperature. Чем выше температура, тем более креативный текст выдает нейронка, но может галлюцинировать
— Context Overflow. Что будет, если контекст будет превышен (по сравнению с тем, что был в настройках указан при загрузке)? Первый вариант удаляет старое из памяти (старые сообщения), второй — сохраняет начало и конец, а куски из середины удаляет, третий — просто останавливает чат. Советую все же увеличить размер контекста, так будет лучше, но тут 2й вариант самый нормальный
— Sampling. Top K — вычисление наиболее вероятных ответов и оставление только самых вероятных (чем больше показатель, тем больше выбора у нейронки, поэтому больше креатива). По умолчанию от 40 до 100 значения
— Structured Output — можно указать определенный формат вывода ответа в JSON, удобно для разработки
Итого, самое юзабельное:
— Системный промт (задать правила мсп + поведение ИИ)
— Креативность + Sampling. Top K
— Размер контекстного окна
После настройки — все это можно сохранить в пресеты
👍— больше постов про локальные ЛЛМ
🪐 Вездесущий ИИ | Чат с админом | Консультация