​​🚀 MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

MoRA - новый метод использования высокоранговых обновлений весов для файнтюнига моделей при сохранении того же количества обучаемых параметров, как и при использовании матриц низкого ранга.

▪repo: https://github.com/kongds/MoRA
▪abs: https://arxiv.org/abs/2405.12130

@Devsp — Подписаться