Большинство слышит «дообучение» и сразу думает, что мы обновляем миллиарды весов большой языковой модели.

Но часто это не так.

Современные методы дообучения позволяют адаптировать модель, почти не трогая её исходные предобученные веса.

Если вы переходите из Data Science в AI Engineering, стоит знать эти 5 подходов.

1. LoRA — учим обновление, а не сами веса

Замораживаем W.

Обучаем две небольшие матрицы:

ΔW = BA

То есть:

W' = W + BA

Фактически мы учим небольшую поправку к модели.

2. LoRA-FA — замораживаем ещё больше

Замораживаем W и A.

Обучаем только B.

Идея та же, но обучаемых параметров ещё меньше.

3. VeRA — не обучаем даже сами матрицы

Фиксируем случайные A и B.

Обучаем только небольшие векторы масштабирования, которые управляют вкладом этих матриц.

Очень высокая параметрическая эффективность.

4. Delta-LoRA — позволяем базовой модели тоже меняться

В отличие от обычной LoRA, здесь W тоже может обновляться, но эти изменения направляются низкоранговой адаптацией.

5. LoRA+ — та же LoRA, но с другой оптимизацией

A и B обучаются с разными скоростями обучения.

Обычно:

ηB > ηA

Главная идея здесь в том, что дообучение не обязательно означает переобучение всей модели.

LoRA → 2 матрицы
LoRA-FA → 1 матрица
VeRA → векторы масштабирования
LoRA+ → 2 матрицы с разными скоростями обучения
Delta-LoRA → низкоранговые обновления + изменяющиеся базовые веса

Пять подходов к одному и тому же вопросу:

какой минимум нам на самом деле нужно обучать?

Именно это и есть параметрически эффективное дообучение — концепция, которую стоит понимать специалистам по Data Science при переходе в AI Engineering.

👉 @PythonPortal