⚡ LoRA: как дообучить GPT на обычной видеокарте
Что такое LoRA?

LoRA (Low-Rank Adaptation — адаптация низкого ранга) — это способ дообучить большую нейросеть под свою задачу, не переписывая все её веса. Вместо того чтобы менять миллиарды параметров модели, LoRA добавляет маленькие "надстройки" к каждому слою. Это как натянуть новый чехол на диван вместо того, чтобы перешивать его целиком — результат похожий, но усилий в разы меньше.

Thinking Machines выпустили исследование, которое показывает: LoRA работает почти так же хорошо, как полное дообучение (full fine-tuning), но гораздо дешевле и предсказуемее.

Эксперимент:
Взяли модели Llama 3 и Qwen3, прогнали обучение двумя способами — полным fine-tuning и через LoRA. Сравнили кривые потерь (насколько хорошо модель учится с каждым шагом).

Результат:
При правильных настройках LoRA движется по той же траектории обучения, что и полный fine-tuning. Даже когда LoRA упирается в лимит параметров, модель не "ломается", а просто учится медленнее. Вычислений требуется на треть меньше, чем у полного дообучения.

Правила от Thinking Machines:

Ставить LoRA на все слои, а не только на attention (части модели, которые отвечают за внимание к контексту)

Использовать learning rate (скорость обучения) в ~10× больше, чем обычно
Не увеличивать batch size (размер порции данных за раз) — иначе падает стабильность

Практический смысл:
Модели на 7 миллиардов параметров можно дообучить за несколько часов на одной видеокарте с 14GB памяти. Это открывает возможности для экспериментов тем, у кого нет доступа к серверным GPU.

Thinking Machines считают, что предсказуемость и стабильность LoRA — это шаг к безопасному ИИ для критически важных систем, где нельзя допустить случайных сбоев.

🔗 Ссылки:
🏠 Исследование Thinking Machines
📖 Оригинальная статья про LoRA (2021)
🤗 PEFT библиотека HuggingFace

#LoRA #finetuning #машинноеобучение #написаноклодом