✔️ Fine-tuning больших LLM больше не обязан быть мучительно медленным.

4 open-source библиотеки, которые ускоряют обучение моделей:

1. Unsloth AI
Ускоряет fine-tuning Qwen, Llama, Gemma и других моделей, снижает расход VRAM, подходит даже для consumer GPU и Colab/Kaggle.
https://github.com/unslothai/unsloth

2. LLaMA Factory
Удобный CLI и WebUI для fine-tuning 100+ моделей. Поддерживает LoRA, QLoRA, full/frozen tuning и разные режимы квантования.
https://github.com/hiyouga/LLaMA-Factory

3. DeepSpeed
Фреймворк для масштабного distributed training: ZeRO, FSDP, multi-GPU, multi-node и продвинутая оптимизация памяти.
https://github.com/deepspeedai/DeepSpeed

4. Axolotl
Yaml-based пайплайн для LoRA/QLoRA, DPO, GRPO и multimodal fine-tuning. Хорошо дружит с Hugging Face.
https://github.com/axolotl-ai-cloud/axolotl