💾 llmfit — тулза, которая подбирает LLM под твоё железо

Запускаешь одну команду — она читает RAM, CPU, GPU и показывает, какие из почти 500 моделей у тебя запустятся нормально, а какие зависнут намертво.

Под капотом — умная система скоринга: модели ранжируются по четырём параметрам сразу: качество, скорость, использование памяти и длина контекста.

⛓️ Ссылка на GitHub

tags: #llm #полезное

➡ DevOps Community | Чат