🏆 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

13B and 70B 32k models with the supervised fine-tuning, which is feasible for long context

LongLoRA - эффективный подход к файнтюнингу, позволяющий расширить размер контекста предварительно обученных больших языковых моделей (БЯМ) при ограниченных вычислительных затратах.

🖥 Github: https://github.com/dvlab-research/longlora

📕 Paper: https://arxiv.org/abs/2309.12307v1

⭐️ Demo: https://b3cfcf9e79ff42df5f.gradio.live/

⏩ Dataset: https://paperswithcode.com/dataset/pg-19

ai_machinelearning_big_data