یک مقاله بسیار جذاب و کاربردی درباره این که چطور می تونیم مدل های مولتی مودال و VLM ها رو با TRL های هاگینگ فیس Fine Tune کنیم :
@ai_python

https://www.philschmid.de/fine-tune-multimodal-llms-with-trl

اینم آدرس نوت بوک مربوط در گیت هاب :

https://github.com/philschmid/deep-learning-pytorch-huggingface/blob/main/training/fine-tune-multimodal-llms-with-trl.ipynb