🔥 GaLore is a new Memory Efficient Fine-tuning Technique

GaLore - это новый метод файнтюнинга, позволяющий эффективно использовать память, для “полной настройки” моделей с миллиардами параметров, таких как Llama 2 7B на графических процессорах. В отличие от LoRa, GaLore сокращает объем памяти, проецируя состояния оптимизатора и градиенты в более низкое измерение. 🤯

🚀 Обучает модели до 7 миллиардов параметров на графических процессорах, таких как NVIDIA RTX 4090
💾 До 82,5% сокращается объем памяти для хранения состояний оптимизатора
🔺 Может комбинироваться с 8-разрядными оптимизаторами для максимальной эффективности памяти
🥇 Превосходит LoRa на GLUE и предварительную подготовку Llama на C4
🤗 Интегрирован в Hugging Face Transformers с galore_adamw или galore_adamw_8bit


Статья: https://huggingface.co/papers/2403.03507
Блог с примерами: https://huggingface.co/blog/galore

@machinelearning_interview