🔖 Запускаем LLM локально на Mac

MLX-LM позволяет запускать модели с Hugging Face одной командой, а затем дообучать их через LoRA или полноценный fine-tuning.

Есть поддержка квантованных моделей, длинного контекста, распределённых вычислений и кэша промптов.

⛓ Ссылка на GitHub

tags: #полезное

➡ Data Scientist | Чат