Есть две основных гипотезы, как нейросети сжимают и хранят информацию:

1. Каждый нейрон отвечает за какой-то концепт: например, отдельный нейрон для кошек, отдельный для собак.

2. Нейроны отвечают за несвязанные концепты: например, один нейрон для кошек и цифр и другой нейрон для собак и цветов. Это гипотеза полисемантичности, и она сейчас основная. Отчасти поэтому эксперты боятся, что нейросети слетят с катушек и устроят скайнет, а мы и не заметим, пока не станет слишком поздно.

Вчера один из главных исследователей в этой области написал, что ему кажется, что мы ошибались и верна первая гипотеза и реально «понять» нейросеть и надежно управлять ее поведением. Условно, выключить нейрон, который отвечает за «вранье в собственных интересах».

Такие вот хорошие новости.

Первоисточник — статья в 20 тысяч слов и ей отчаянно не хватает редактуры. Зато внутри много интерактивных иллюстраций!