Друзья!

В этот вторник (21.01.25) у нас на семинаре c рассказом о "Plug-and-Play'' методе для постобучающей обрезки LLM выступит Кияко Елизавета.

Прилагаем анонс:

На семинаре будет представлен новый эффективный метод постобучающей обрезки (pruning) для больших языковых моделей под названием "Plug-and-Play". Смысл данного метода заключается в облегчении инференса моделей глубинного обучения без существенной потери производительности

Авторы статьи предлагают два ключевых компонента:
1) Новую метрику обрезки RIA (Relative Importance and Activations), учитывающую как веса, так и активации нейронов
2) Метод перестановки каналов для максимального сохранения важных весов при N:M разреженности

Эксперименты показывают, что предложенный подход превосходит существующие методы постобучающей обрезки для популярных языковых моделей, таких как LLaMA. При этом метод не требует дополнительного обучения и может быть легко применен к любым моделям

Ждем вас 21.01.25 в 17 50 в аудитории 108.

#нис_complex_networks