Каждый уже, наверное, слышал про SAE — разреженные автоэнкодеры — способные интерпретировать нейронные сети.

Популярность SAE обязаны публикациям исследований от Anthropic. Однако не смотря на весь хайп, с последующими попытками применить и исследовать эти автоэнкодеры возникали сомнения в том, насколько они способны обнаруживать важные и полезные фичи.

Что если на самом деле SAE не обучаются значимым признакам — они лишь немного лучше случайных моделей?

Коллеги показали, что SAE в их текущем виде недостаточно надежны для декомпозиции и понимания внутренних механизмов моделей. Существующие метрики для SAE (reconstruction, interpretability scores, sparse probing, causal editing) недостаточны для оценки того, выучили ли автоэнкодеры полезные и важные фичи.

Также авторы предлагают простые методы проверки, позволяющие убедиться в том, что SAE обучаются осмысленным разложениям признаков, чтобы дополнить их оценку.

Читаем статью и ставим апвоуты на хф!