Вес модели имеет значение, но не всегда.

Как-то я писал пост о том, как запускать локальные модели с помощью Ollama.

Те, кто пробовали сделать это, наверное обратили внимание на сайте Ollama, что у моделей есть разные атрибуты в названии. Например: gemma3:12b-it-q4_K_M.

Давно хотел написать пост про то, что это за атрибуты, и как выбрать модель, но за меня это хорошо сделал мой коллега - Влад Корнышев. У Влада большая экспертиза в EduTech, и у него есть свой курс по ИИ. Ближе узнать Влада можно из этого видео про тренды в ИИ.

Так вот, мне понравилось как Влад, раскрыл эту тему. Если хотите понять как правильно выбрать локальную модель, чем они отличаются, какие есть архитектуры и как работает управление вниманием, читайте его пост и подписывайтесь на его канал!