Исследователи 💻💻💻 ВШЭ и AIRI предложили новый способ построения матриц, который назвали «Группируй и перемешивай» (Group-and-Shuffle). Вместо того чтобы работать со всеми данными, они делят её параметры на небольшие группы, обрабатывают каждую отдельно и перемешивают между собой.
✅ Такая структура помогает модели точнее подстраиваться под задачу, но при этом требует меньше вычислений и памяти.
🗂️ На основе GS-матриц исследователи разработали метод GSOFT — новую реализацию ортогональной донастройки нейросетей. В отличие от предыдущих подходов, GSOFT использует меньше параметров, но сохраняет стабильность и качество обучения даже при малом объёме данных.
Команда также предложила двусторонний вариант метода — Double GSOFT, который позволяет изменять параметры сразу с двух сторон, повышая гибкость и точность модели.
«Мы проверили метод в различных сценариях — от языковых и генеративных моделей до устойчивых свёрточных сетей. В каждом из них он работал надёжно и при меньших затратах ресурсов. Это подтверждает, что мы можем использовать метод для разных целей»,
— прокомментировал Айбек Аланов, заведующий центром глубинного обучения и байесовских методов ФКН ВШЭ, руководитель группы «Контролируемый генеративный ИИ» Лаборатории FusionBrain Института AIRI.
Результаты работы были представлены на конференции NeurIPS 2024 ✏️