Вчера ставил Qwen 3.5 на телефон, а сегодня решил посмотреть что потянет мой комп
Проверял через llmfit — пишешь одну команду в терминале и он показывает какие модели запустятся на твоём железе.
Определяет RAM, CPU и GPU, оценивает каждую модель по 4м параметрам: качество, скорость (tok/s), совместимость с памятью и размер контекста.
В базе 206 моделей: Llama, Qwen, DeepSeek, Mistral и другие.
Для каждой подбирает лучшую квантизацию которая влезет в память и оценивает скорость.
В plan mode можно глянуть какое железо нужно для конкретной модели.
[Рекомендую тул]
@tips_ai #tools
Post #7
8
Forwarded from Tips AI | IT & AI