llmfitТерминальная утилита, которая по твоей конфигурации RAM, CPU и GPU рекомендует LLM-модели, которые смогут у тебя запуститься.
Сейчас в базе 157 модели от 30 провайдеров: есть Llama, Mistral, Qwen, DeepSeek, Grok, Kimi и другие. Каждую модель оценивают по 4 метрикам:
- качество (число параметров, репутация семейства модели)
- скорость (примерная оценка tok/s)
- совместимость (насколько модель укладывается в память)
- контекст (размер контекстного окна)
Потом считают итоговый общий score, а то, что в память не влезает, автоматически уезжает вниз списка.
100% opensource 🎉
