llm-checker

- интеллектуальный селектор моделей Ollama

Интерфейс командной строки на основе искусственного интеллекта, который анализирует ваше оборудование и рекомендует оптимальные модели LLM.
Детерминированная оценка на основе более чем 200 динамических моделей (более 35 тщательно отобранных резервных вариантов) с калибровкой памяти на аппаратном уровне.

Выбор подходящей модели LLM для вашего оборудования - сложная задача. Учитывая тысячи вариантов моделей, уровней квантования и конфигураций оборудования, для поиска оптимальной модели необходимо понимать пропускную способность памяти, ограничения видеопамяти и характеристики производительности.

LLM Checker решает эту проблему. Он анализирует вашу систему, оценивает каждую совместимую модель по четырем параметрам (качество, скорость, соответствие, контекст) и за считанные секунды предоставляет практические рекомендации.

https://github.com/Pavelevich/llm-checker

Опубликовано в @gitgate

#llm #ai #tools #cli