@murkyfella воспользовался визой в Канаду после ICML 2025, и рассказал о недавней статье @nikoryagin на COLM 2025: Teach Old SAEs New Domain Tricks with Boosting 🏎

Sparse Autoencoders очень сильно зависят от данных, на которых их обучали, и если у вас появятся новые домены, на которых вы захотите изучить поведение модели, вам придется постоянно обучать новые SAE.
Вместо этого мы предложили очень простой метод, в котором мы учим новые SAE на ошибках старых, получая модуль, способный интерпретировать свежие данные, не ломая старые представления.

Статью можно прочитать тут