Полезные бесплатные opensource инструменты на все случаи жизни, а иногда и советы.
Понравился проект из поста - поддержи автора звездой!
Web: https://gitgate.d3.ru
Сотрудничество: @maxgrue
Post #1327
3.5K
llmfit - сотни моделей и поставщиков
Инструмент для терминала, который оптимизирует размеры моделей
Поставляется с интерактивным графическим интерфейсом пользователя (по умолчанию) и классическим режимом командной строки. Поддерживает многопроцессорные конфигурации, архитектуры
https://github.com/AlexsJones/llmfit
Опубликовано в @gitgate
#ai #tui #llm
AI. Одна команда, чтобы узнать, что работает на вашем оборудовании.Инструмент для терминала, который оптимизирует размеры моделей
LLM в соответствии с оперативной памятью, процессором и видеокартой вашей системы. Он определяет ваше оборудование, оценивает каждую модель по таким параметрам, как качество, скорость, соответствие и контекст, и сообщает, какие из них действительно будут хорошо работать на вашей машине.Поставляется с интерактивным графическим интерфейсом пользователя (по умолчанию) и классическим режимом командной строки. Поддерживает многопроцессорные конфигурации, архитектуры
MoE, динамический выбор квантизации, оценку скорости и локальные поставщики среды выполнения (Ollama, llama.cpp, MLX).https://github.com/AlexsJones/llmfit
Опубликовано в @gitgate
#ai #tui #llm
- 👍 6
- 🔥 6










