Начать стоит с короткой базы, если ты не ознакомлен заранее, короче, локал модели отличает от привычной нам, условно, glm с доступом через сервисы то, что мы можем тот же glm запускать локально на своей машине, и все обработки они будут не где то там в облаке, а прямо тут - на твоей старушке ⌨️ *но конечно же не glm 5.2, ты не подумай)))
В связи с чем тебе не нужно платить за токены по тарифным планам gpt/claude, ибо все обработки берет на себя лично твоя GPU
Почему именно GPU тут важна?
— потому во время работы llm ебануто занимается математикой, прям очень жестко, а GPU буквально создана для обработки таких задач, а ее видеопамять определяет насколько большая модель может залезть в твою видюху и начать взаимодействие
К слову, о сайзах моделей, они исчисляются в billion💎 что означает - миллиард параметров/общая база знаний/все чему научилась модель, и чем больше значение "b" - тем тяжелее и умнее llm
Когда база залита го поставим какого то не особо умного китайца для средних GPU⤵️
— будем ставить Qwen 3.5 9B т.к самый универсальный фри варик, который подойдет для обладателей 3060-4060, если виюдха хуже, то попробуй менее умные версии
Нам нужна Ollama - это хуйня через которую мы будем локалки запускать, у них есть десктоп апка, но как по мне, через powershell приятнее.. поэтому:
🔹скачиваем ollam-у:
irm https://ollama.com/install.ps1 | iex🔹скачиваем модель:
ollama run qwen3.5:9b эта же команда отвечает и за запуск *вес модели около 6.5гб— да это конечно не конкурент флагманам, но для типичных задач бесплатно на среднем железе - найс👏 вот тут есть листы с полной инфой о моделях, можете разные понакатывать, посмотреть..
🧠Топовые модели по API за лоупрайс | Чат канала💐