Тюнинг LLM больше не обязательно должен быть медленным, дорогим и прожорливым к GPU.
Открытые инструменты сильно прокачались.
Теперь можно дообучать мощные LLM без корпоративного железа.
Вот 4 библиотеки, которые стоит знать, чтобы тюнинг был быстрее и дешевле:
1.
UnslothНаверняка самый быстрый способ дообучения LLM на сегодня.
✅До 2× быстрее
✅~70% меньше использования VRAM
✅Работает с Gemma, Qwen, LLaMA, Mistral и другими
✅Запускается на потребительских GPU (даже Colab/Kaggle с ~3GB VRAM 🤯)
2.
LLaMA FactoryПолный набор для дообучения.
✅Поддержка 100+ моделей
✅CLI + WebUI (подходит новичкам)
✅LoRA, QLoRA, полный и замороженный FT (2–8 бит)
✅Встроенные датасеты, мониторинг тренировки и экспорт моделей
3.
DeepSpeedЕсли идёте на большие масштабы.
✅ZeRO и FSDP для масштабного обучения
✅Оптимизация под multi-GPU и multi-node
✅Проверен в продакшн-LLM тренировках
Если вы масштабируете серьёзные модели → это ваш выбор.
4.
AxolotlКонфигурационно-ориентированное дообучение, сделанное правильно.
✅Workflow на YAML
✅Поддержка LoRA, QLoRA, DPO, GRPO и мультимодальных моделей
✅Оптимизация памяти на уровне ядра
✅Плавная интеграция с Hugging Face
👉
@PythonPortal
