Исследователь Goodfire: нейроны ИИ понятнее, чем принято считать
⠀
Годами считалось, что внутри нейросетей всё перепутано: один нейрон отвечает сразу за несколько несвязанных вещей. Ник Каммарата из Goodfire выложил эссе с другим прочтением и сам называет его рабочей гипотезой.
⠀
Считали: нейрон про кошек и про машины сразу
Оказалось: он реагирует на V-образное, от пламени до морд лис
⠀
На открытой модели на 32 млрд параметров автор предварительно проверил нейроны: у около 90% одна главная задача, у 7% две связанные, у 2–4% пока непонятно.
⠀
Эссе читается около часа, в нём можно самому полазить по нейронам.
⠀
Нам не хватает одного: чтобы кто-то посторонний пересчитал эти 90%.
⠀
RAGNAROK | ИИ и технологии