Собрал пятёрку для кода, автоматизации и ИИ-агентов
Критерий — результаты в тестах и объём памяти, который придётся под них выделить
Qwen3.8-27B — с неё я бы начинал
73 в Terminal-Bench 2.1 и 61,7 в SWE-bench Pro — тестах работы в терминале и исправления кода
Сборка MLX 4-bit для Mac весит около 16 ГБ. Самый доступный вход в этой подборке
Qwen3.8-Flash-Next — следующий шаг для сложных задач
58,7 в DeepSWE против 42,2 у версии 27B. Это тест решения задач разработки агентом
Сборка Q4 — около 120 ГБ. Рассматривать, когда возможностей маленькой модели уже не хватает
GLM-5.3-Flash — кандидат для агентов, работающих с кодом
84,3 в Terminal-Bench 2.1 и 63,4 в DeepSWE
У MLX-сборки 4-bit около 204 ГБ весов, автор указывает 224 ГБ минимальной RAM
Ornith 1.5 397B — для кода и сложных рассуждений
86,1 в Terminal-Bench 2.1, 65,1 в SWE-bench Pro и 92,8 в GPQA Diamond — тесте сложных научных вопросов
Сборка Q4 — около 244 ГБ. Вариант для мощной рабочей станции
DeepSeek V4.1 Flash — самые высокие заявленные баллы этой пятёрки в двух агентских тестах
90,6 в Terminal-Bench 2.1 и 74,2 в DeepSWE
GGUF Q4 — около 445 ГБ, но автор сборки предупреждает: поддержка в llama.cpp ещё дорабатывается. Для локального запуска пока экспериментальный вариант
Размер файла ≠ необходимая память компьютера
Кроме весов, нужен запас на контекст, среду запуска и систему
Модель на 16 ГБ не означает, что компьютера с 16 ГБ хватит
Начать с модели, которая помещается с запасом, и дать ей реальную рабочую задачу
Покупку железа под сотни гигабайт лучше обосновать результатом такого теста
Подборку огромную со ссылками скину в комменты
👍 — сохраняю подборку для первого запуска
👨🚒 — у меня столько памяти только в воспоминаниях
🪐 Вездесущий ИИ | Чат с админом | Консультация