Мы уже разобрались с тем как запускать модели локально (способ 1 и способ 2). Теперь надо понять как выбрать модель под свои нужды и как прочитать "паспорт модели", который выглядит примерно так:
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization Q4_K_M
Capabilities
completion
vision
Parameters
temperature 1
top_k 64
top_p 0.95
stop "<end_of_turn>"
License
Gemma Terms of Use
Last modified: Feb 21, 2024
Всё это очень подробно разобрал в конспекте:
Читать: Как выбрать AI модель
SemolinaCode | Chat | YouTube | HowToCode | Prop