GSOFT

В репозитории опубликован код GSOFT — метода экономного файнтюнинга нейросетей через структурированные ортогональные матрицы. Авторы работают с ограничением существующих подходов вроде OFT и BOFT. Ортогональные преобразования помогают аккуратно адаптировать веса предобученной модели, но простая блочно-диагональная структура OFT слишком ограничивает взаимодействие признаков, а butterfly-параметризация BOFT требует произведения нескольких матриц и даёт лишние вычислительные накладные расходы. GSOFT строится на новом классе Group-and-Shuffle матриц. Такая матрица сначала применяет независимые линейные преобразования внутри небольших групп, затем перемешивает признаки между группами и снова применяет групповые преобразования. За счёт этого можно получать плотные ортогональные матрицы с меньшим числом множителей и обучаемых параметров. На GLUE с RoBERTa-base GSOFT превосходит OFT и BOFT и немного обходит LoRA по среднему результату при сопоставимом числе параметров. Работа будет полезна исследователям parameter-efficient fine-tuning, генеративных моделей, ортогональных параметризаций и архитектур, где важно уменьшать число обучаемых параметров без заметной потери выразительности.

статья | код