Смотрите какая крутая программка: сканирует RAM, CPU, GPU и VRAM, сопоставляет с базой из 497 моделей от 133 провайдеров и выдаёт таблицу: что запустится, с какой квантизацией и на какой скорости.
​
Быстрая установка на macOS \ Linux:

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

Windows:

cargo install llmfit

Затем запускать командой llmfit

Определяет NVIDIA, AMD, Intel Arc, Apple Silicon. Поддерживает multi-GPU, суммирует VRAM с нескольких карт. Каждая модель получает скор по четырём параметрам: качество, скорость, совместимость с железом, размер контекста

Есть интерактивный TUI (по умолчанию) и обычный CLI. Интегрируется с Ollama, можно скачать модель прямо из интерфейса.

@neuro_channel