Anthropic (создатели Claude) представили прорывной метод интерпретации нейронных сетей, разлагая их на более понятные компоненты. В своей последней работе исследователи доказали, что отдельные нейроны не всегда коррелируют с поведением модели. Вместо этого они предлагают использовать "признаки" - комбинации активаций нейронов, которые лучше интерпретируются и имеют последовательное значение. Этот метод позволил выделить специфические особенности в модели, такие как последовательности ДНК и юридический язык.

Это открывает новые перспективы для глубокого понимания и улучшения нейронных сетей. С возможностью лучше понимать внутренние процессы моделей, специалисты могут значительно улучшить их безопасность, надежность и применимость в различных отраслях. Также это может способствовать разработке новых методов обучения и оптимизации, которые были бы более эффективными и предсказуемыми. Компания уже выражает интерес к дальнейшему масштабированию этого подхода, чтобы внедрить его в более сложные модели, что может стать революционным шагом в области искусственного интеллекта.

https://www.anthropic.com/index/decomposing-language-models-into-understandable-components