Fine-tuning LLM без дорогих GPU — это реально

Разработчик делится опытом, как дообучил небольшую LLM на бесплатном Colab — без своей видеокарты и без аренды H100.

Fine-tuning — это «дотренировка» уже готовой модели на ваших данных (например, на корпусе support-вопросов). Модель не учится с нуля, а только подстраивается под узкую задачу.

Главные трюки автора:
- LoRA (Low-Rank Adaptation) — вместо переобучения всех 7 млрд параметров обучается тонкий «адаптер» в 1-2% от размера. Влезает в 16 GB видеопамяти Colab T4.
- 4-bit квантизация — модель ужимается с 16 до 4 бит на параметр. Качество почти не падает, память в 4 раза меньше.
- Google Colab Free даёт T4 на ~12 часов в день — этого хватает на цикл под небольшую задачу.

Порог входа в fine-tuning сейчас ниже, чем кажется.

@prog_point (теперь ещё в VK и Max)