Модель на 7 млрд параметров в f16 весит около 14 ГБ, в видеокарту ноутбука она обычно не помещается. После квантизации до 4 бит та же Mistral-7B в формате GGUF занимает около 4,4 ГБ и работает даже на CPU. Ниже — сколько нужно памяти, какой формат брать и чем запускать.
🟢 Память. Считайте вес модели плюс KV-кэш. Вес — это параметры × битность / 8: 7 млрд × 16 бит ≈ 14 ГБ, при 4 битах ≈ 3,5 ГБ плюс служебные данные. KV-кэш растёт вместе с контекстом, поэтому длинное окно съедает память быстрее, чем кажется.
🟢 Формат. Для ноутбука берите GGUF: он работает и на CPU, и на GPU. GPTQ и AWQ рассчитаны только на GPU.
🟢 Запуск. llama.cpp собирается с Metal или CUDA, так что подойдёт и MacBook, и машина с NVIDIA:
hf download TheBloke/Mistral-7B-Instruct-v0.2-GGUF mistral-7b-instruct-v0.2.Q4_K_M.gguf --local-dir .
llama-cli -m mistral-7b-instruct-v0.2.Q4_K_M.gguf -ngl 99 -p "Чем inode отличается от имени файла?"
-ngl 99 отправляет на GPU все слои модели. Не хватает видеопамяти — уменьшайте число, остальные слои посчитает процессор. Вентилятор при этом зашумит, как стойка в серверной, так и задумано.Это один из уроков курса «Прикладной LLM для инженеров». Дальше в программе серверы инференса на vLLM, RAG по своим документам, агенты с Function Calling и MCP. Студент курса описал его так: «отличный пример решений - от проектирования до деплоя».
Курс рассчитан на уверенный Python: если вы на нём не пишете, RAG-пайплайны дадутся тяжело. Первые задания открыты бесплатно в демодоступе.
