Тюнинг LLM больше не обязательно должен быть медленным, дорогим и прожорливым к GPU.

Открытые инструменты сильно прокачались.

Теперь можно дообучать мощные LLM без корпоративного железа.

Вот 4 библиотеки, которые стоит знать, чтобы тюнинг был быстрее и дешевле:

1. Unsloth

Наверняка самый быстрый способ дообучения LLM на сегодня.

✅До 2× быстрее
✅~70% меньше использования VRAM
✅Работает с Gemma, Qwen, LLaMA, Mistral и другими
✅Запускается на потребительских GPU (даже Colab/Kaggle с ~3GB VRAM 🤯)

2. LLaMA Factory

Полный набор для дообучения.

✅Поддержка 100+ моделей
✅CLI + WebUI (подходит новичкам)
✅LoRA, QLoRA, полный и замороженный FT (2–8 бит)
✅Встроенные датасеты, мониторинг тренировки и экспорт моделей

3. DeepSpeed

Если идёте на большие масштабы.

✅ZeRO и FSDP для масштабного обучения
✅Оптимизация под multi-GPU и multi-node
✅Проверен в продакшн-LLM тренировках

Если вы масштабируете серьёзные модели → это ваш выбор.

4. Axolotl

Конфигурационно-ориентированное дообучение, сделанное правильно.

✅Workflow на YAML
✅Поддержка LoRA, QLoRA, DPO, GRPO и мультимодальных моделей
✅Оптимизация памяти на уровне ядра
✅Плавная интеграция с Hugging Face

👉 @PythonPortal