Промптинг LLM и RAG уже не вытягивают, а на полноценный fine-tune не хватает железа?
Хочется стабильного качества без недель перебора гиперпараметров?

💡Тогда вам стоит попробовать SingLoRA — новый подход к PEFT (Parameter-Efficient Fine-Tuning), который почти в два раза эффективнее, чем классический метод LoRA.

Уже в эту пятницу наш коллега Александр Мамылов расскажет, почему SingLoRA имеет все шансы стать новым стандартом дообучения LLM на своих данных, и чем он выгодно отличается от существующих решений.

На встрече обсудим:
🔹 преимущества SingLoRA по сравнению с классическими двухматричными подходами LoRA и его вариантов DoRA/qLoRA,
🔹 за счёт чего достигается стабильность в создании адаптера к LLM,
🔹 разберём, насколько SingLoRA устойчив к изменению learning rate и других гиперпараметров,
🔹 оценим эффективность нового подхода на примере fine-tune LLM и Diffusion Model.

Ждём всех на очередной встрече PT ML Reading Group в пятницу, 22 августа, в 15:00.
Подключайтесь: Ктолк

#reading_group #nlp #llm