Интерпретируемость нейросетей долго казалась тупиком. Нейроны выглядели как клубок: один реагировал и на кошек, и на машины. Объяснение: нейронов не хватает на все понятия, сеть складывает несвязанное вместе. Изучать сеть напрямую нельзя

Ник Каммарата, один из авторов ранних работ, вернулся к старым примерам с новыми инструментами. Оказалось, их прочитали неверно

Тот самый нейрон «кошки и машины» ловит букву V — усы и решетку радиатора. Каша в поздних слоях InceptionV1 была сбоем обучения: после обычных правок архитектуры 99-100% нейронов того слоя читаются. В Qwen3-32B у 90% нейронов одна основная задача, у 7% две связанные, и только 2-4% пока непонятны

Что принимали за свалку оказалось ветвлением: нейрон на «iy» дорастает до «diy», потом до «do it yourself»

Сети можно изучать как есть. Для контроля над поведением моделей это хорошая новость

already-clean.goodfire.com

#news

MAX