Утилита командной строки с TUI интерфейсом, которая помогает определить, какие открытые языковые модели (LLM) ваше оборудование сможет запустить комфортно и с какой производительностью
🎯 Для чего нужно:
Вместо того чтобы методом проб и ошибок скачивать гигабайты моделей, llmfit автоматически сканирует ваше «железо» (CPU, RAM, VRAM) и на основе встроенной базы данных моделей выдаёт список тех, которые будут работать именно на вашей машине
⚙ Как работает:
Анализ оборудования: утилита определяет ваши CPU, RAM, GPU (поддерживаются NVIDIA CUDA, Apple Silicon, AMD ROCm, Intel OneAPI) и доступную видеопамять
Подбор моделей: с учётом параметров моделей, длины контекста и форматов квантования (GGUF, AWQ, GPTQ, EXL2) она рассчитывает, сколько памяти потребуется и какую скорость генерации (токенов в секунду) можно ожидать
Выдача рекомендаций: получаете ранжированный список моделей с оценками по качеству, скорости, «подгонке» под ваше железо и поддерживаемому контексту. Есть интерактивный терминальный интерфейс (TUI) и веб-морда
⭐️ Ключевые особенности:
Поддержка сотен моделей и провайдеров: база данных постоянно обновляется
Бенчмарки и обмен данными: Можно не только получить оценку, но и запустить реальный тест производительности на своей машине, а результаты (с согласия пользователя) отправить в проект, чтобы другие люди с таким же оборудованием получали уже проверенные цифры
Интеграция с локальными средами: поддерживаются Ollama, llama.cpp, MLX, LM Studio и Docker Model Runner
Кроссплатформенность: работает на macOS (Apple Silicon и Intel), Linux (x86_64 и ARM64) и Windows
Установка/запуск:
uv tool install -U llmfit
# to run without installing
uvx llmfit
😹 Repo
#llm #ai #benchmark
✈️ Telegram 🔗 whlab.ru 💬 MAX