❤️ Исследователи из Goodfire предложили новый способ заглянуть внутрь нейросетей — метод Stochastic Parameter Decomposition (SPD). Вместо того чтобы анализировать активации (как это делалось раньше), они предложили изучать сами параметры модели — её веса.

Суть подхода:

• Весовые матрицы раскладываются на простые субкомпоненты
• Каждой присваивается обучаемая функция важности
• Модель обучается маскировать неважные компоненты и оценивать влияние на результат

В итоге мы получаем карту параметров, реально задействованных при генерации конкретного ответа. Это делает поведение моделей более прозрачным и понятным.

• Статью читаем тут
• А вот тут можно поиграться

❤️ Data Signal