На последней встрече PT ML Reading Group Александр Мамылов представил анализ статьи SingLoRA — новый метод создания адаптеров для LLM.

🎥Делимся записью и основными выводами:

• вспомнили, какие на данный момент существуют вариации LoRA и их ключевые особенности,

• разобрались в «математике» нового метода и в том, как авторы решили проблему квадратной матрицы,

• фреймворк PEFT пока не поддерживает SingLoRA, поэтому чтобы поиграться с ним на своих задачах можно использовать код из этого репозитория,

• протестировали SingLoRA на одной из наших задач: метрики изменились в пределах погрешности,

• использование одной матрицы заметно уменьшает размер адаптера и ускоряет его обучение, однако это не является главным ботлнеком при работе LLM в продакшене.

#reading_group #recording #nlp #llm