🧠 Goodfire: агентный разбор опроверг полисемантичность и улучшил интерпретируемость

Ник Каммарата из Goodfire опубликовал эссе с тезисом «Neural Networks Are Already Clean». Большинство нейронов в моделях до триллионов параметров, по его словам, читаемы. А известные случаи полисемантичности и superposition были ошибкой чтения, а не устройством сети. В 2023 автоматизированный анализ Каммарата в OpenAI находил лишь около 2% читаемых нейронов. Сейчас он утверждает, что те же активации раскрываются при агентном переборе слабых сигналов, а не при ручном просмотре максимумов. По данным Latent Space, эссе собрало 16,6 тыс. лайков.

Возражения конкретные. Нил Нанда говорит, что эссе не меняет его позицию: representational superposition никуда не делось, а слабые активации хранят запомненные факты. Лео Гао предлагает судить объяснения по KL-дивергенции между нейроном и его симуляцией. Джейк Мендель напоминает про хвост non-max активаций. Сама статья ещё не опубликована — пока есть только эссе.

Читаемость нейронов при масштабе до триллионов параметров бьёт по той части чёрного ящика, которой пугали в alignment-дискуссиях. Но без чекпоинта, пайплайна и метрики для воспроизведения это гипотеза, а не результат.

За десять лет interpretability несколько раз объявляла нейроны читаемыми перед тем, как следующий скейлинг ломал метод. Пока статья не вышла, фраза «уже чисты» — это обещание агентного анализа, а не воспроизводимый артефакт.

#interpretability #Goodfire #polysemanticity #alignment