Исследование: предложен новый метод интерпретации работы нейросетей

✦ Goodfire разработала Stochastic Parameter Decomposition (SPD) — новый способ изучать нейросети
✦ SPD позволяет разбивать параметры нейросетей на отдельные компоненты, чтобы понять роль каждой из них
✦ Метод основан на удалении частей сети и оценке их влияния на результат
✦ Алгоритм работает по принципу «игры в Джэнга»: удаляет части сети, пока поведение модели не изменится
✦ SPD помогает оценить важность каждого компонента и изучить конкретные функции нейросети
✦ Исследователи рассматривают возможность создания моделей, которые изначально строятся из понятных и объяснимых компонентов
✦ В тестах SPD точно определял, как работают внутренние механизмы нейросетей
✦ Полный тех. отчёт (pdf) и библиотека на GitHub
✦ Прототип метода для экспериментов (vpn)

@EF9MERA

Источник