Установка и настройка домашнего сервера на Mac Studio. Часть 4. Запуск локальных моделей.

А я обещал рассказать вам, про запуски локальных моделей на моем домашнем сервере Mac Studio M2 Max, 32Gb.

Что я тестировал:
- Gemma 3, 27b и 12b
- Qwen 3, 4b и qwen3:30b-a3b-q4_K_M
- phi4, 14b
- devstral, 24b
- mistral-small3.1, 24b
- DeepSeek R1, 14b (предыдущая версия)

Всем моделям задавал вопрос: «Что ты умеешь?», и смотрел на качество ответов и скорость.

Начал я с Qwen3 30b-a3b, и это была пушка с точки зрения размышлений и качества ответов. Отлично говорит на русском, не смешивает языки. Уровень о3-mini. Я даже задумался отказаться от подписки на OpenAI. Скорость к сожалению не очень, по ощущениям около 4 TPS, пока пишу пост под рукой нет точных цифр. Но я ее оставил для сложных аналитических задач. И рядом оставил версию 4b, чтобы делать простые задачи более эффективно.

Дальше запустил Gemma3, 27b и 12b. 27b был очень медленный, хоть и ответы хороши. По русски говорит хорошо, языки не смешивает. Большой разницы с 12b не заметил, для творческих оставил эту версию.

Потом запустил phi4, 14b. Скорость генерации 10-11 TPS (токенов в секунду). По русски говорит отлично, языки не смешивает. Оставил для суммаризации, кластеризации и сентимент анализа.

Потом запустил старый deepseek-r1:14b-qwen-distill-
q4_K_M, скорость 11 TPS, сходу ответил мне китайскими, и украинскими словами. Неожиданно, возможно был временный глюк и стоило провести больше тестов. Но после впечатлений от gemma3, qwen3 и phi4, уже не хотелось тратить на это время. Удалил.

И последнее Mistral-Small 3.1, ответил неплохо, по русски, но скорость 4 TPS. Опять же после gemma3 и qwen3 уже казалось, что мои потребности закрыты на этом.

Ну и попробовал devstral для кодинга. Пока у меня не получилось завести ее, чтоб она нормально запускала тулы в Zed IDE, и в RooCode. Не понял как завести в OpenHands, но потом разберусь думаю. Пока не удаляю. Скорость терпимая. TPS не замерял, потом расскажу подробности в @vibe_coding_community.

Подписывайтесь -> @vibe_coding_channel