RiemanianFinetune

В репозитории опубликован код RiemanianFinetune — нового подхода к обучению LoRA-адаптеров через риманову оптимизацию. Авторы обращают внимание на проблему стандартной LoRA, где один и тот же низкоранговый сдвиг весов можно представить разными парами матриц, но обычные оптимизаторы вроде Adam или SGD обучают именно эти факторы, поэтому результат может зависеть от случайной параметризации. В работе предлагается обучать не отдельные множители LoRA, а саму низкоранговую матрицу как точку на многообразии матриц фиксированного ранга. Для этого авторы вводят оптимизатор Riemannion — риманово обобщение Muon для низкоранговых адаптеров. Такой подход делает обновления более геометрически корректными и менее зависимыми от выбранного разложения. Дополнительно предложена специальная инициализация адаптеров, ориентированная на начальный градиент, а также эффективная реализация без заметных издержек при малых рангах. Эксперименты на Llama 3-8B в задачах commonsense reasoning показывают, что Riemannion превосходит LoRA, DoRA, Muon по факторам LoRA и другие римановы варианты. Средняя accuracy по восьми задачам достигает 88.1% против 87.1% у Adam-LoRA. В экспериментах с Stable Diffusion 2 для subject-driven generation метод быстрее сохраняет концепт и лучше удерживает соответствие текстовому описанию. Работа будет полезна исследователям parameter-efficient fine-tuning, разработчикам LLM и diffusion-моделей, а также тем, кто изучает геометрические методы оптимизации для низкоранговых нейросетевых адаптеров.

статья | код