🧠 Learning Functional Subspaces for Neural Network Compression

📄 Статья

Вообще говоря, попытки сделать низкоранговое сжатие для LLM практическим — гиблое дело, но бывают более-менее интересные заходы.
Тут предложили очередной заход — учить ортогональные проекции на подпространство, важное для модели, в каждом слое end-to-end, подбирая адаптивно ранги. И среди авторов есть не абы кто, а сам месье Ян ЛеКун.