Утилита llmfit для проверки локальных LLM, адаптирует их под системные требования машины и задачу. Ее особенность в том, что она делает оценку без скачивания самих моделей
Что может llmfit?
Определяет железо: RAM, CPU, VRAM, тип GPU, также проверяет, какие локальные рантаймы установлены. Оценивает каждую модель из репо HuggingFace по качеству предикта, скорости и размеру контекстного окна. Сводит критерии в единый composite score. Дает рекомендации, какую квантизацию выбрать (Q8 -> Q2), оценивает расход токенов в секунду
llmfit может интегрироватья с локальными фреймворками Ollama, llama.cpp, Docker Model Runner etc.
Как использовать?
Устанавливаем
brew install llmfit
Запускаем проверку машины
llmfit system
Запрос рекомендаций по задачу например coding
llmfit recommend --json --use-case coding --limit 3
Отображаем топ-5 моделей, которые помещаются в RAM по
fitllmfit fit --perfect -n 5