Ну что-ж погнали
всем привет! Сегондя мы рассмотрим как запускать нейронку локально на компьютере
что такое llm?
LLM (Large Language Model — большая языковая модель) — это продвинутая система искусственного интеллекта, обученная на колоссальных объемах текста для понимания, обработки и генерации связного человеческого языка. Они работают на основе нейросетей, предсказывая следующее слово в последовательности, что позволяет им писать тексты, переводить, анализировать информацию и отвечать на вопросы.
Что нужно сделать первым делом:
узнать сколько видеопамяти есть на видеокарте- это один из самых важных критериев для быстродействия нейросети и запуск более больших нейросетей (от 6гб)
оперативная память- 2-й по важности пункт. Если брать квантование в формате GGUF то если не хватает видеопамяти то часть llm можно отгрузить в оперативную память (но падение производительности КАТАСТРОФИЧЕСКИ ВЕЛИКО)
когда мы разобрались в железе пора перейти к инструментам с которой помощью мы будем запускать нейросеть. Есть достаточно много инструментов(KoboldCPP,Olama,oobabooga) но для начала пути разберём lm studio
скачиваем lm studio (https://lmstudio.ai/) и фротенд sillytavern (https://github.com/SillyTavern/SillyTavern)
размещаем и ставим
следующее что возникнит это что ставить и как подключать?
Для этого надо разобраться что такое параметры
параметры это то чем по сути мериться интелект чем больше параметр тем больше будет контекст
для сравнения могу дать такой пример: в детстве мы могли не понимать некоторых вещей (допустим это будет 5B параметров) но со взрослением мы начинаем лучше понимать миры и контексты (допустим прошло 4 года и мы теперь имеем 9-12B параметров)
рекомедовонные LLM для начала:
deepseek/deepseek-r1-0528-qwen3-8b
llama3.3-8b-instruct-thinking-heretic-uncensored-claude-4.5-opus-high-reasoning-i1
saiga_gemma3_12b
далее запуск sillytavern
в самом интерфейсе lm studio вполне всё понятно там есть сразу же примерное потребление, настройка контекста и др. фишки
запуск sillytavern!
заходим в папку и запускаем start.bat (если на винде конечно же) откроется командная строка НЕ ПУГАЕМСЯ ТАК И ДОЛЖНО БЫТЬ!
знакомимся с интерфейсом
познакомившись с интерфейсом мы находим красную розетку это наш любимый api!
(или же прокси) где мы выбираем пункт text copmlection и в типе api text generation WebUI (oobabooga)
должны скопировать ip адрес lm studio запуcтив на нём сервер (обычно это 127.0.0.1:1234) и жмём подключиться!
#Гайд@janitorAiCF ⋮ @janitorAiCF ෆ
take bot→@SuggestionJAiCfBot
