Обнаружена особая структура в языковой модели Claude

Вы когда-нибудь задумывались, о чем на самом деле думает нейросеть, пока вы просите её написать стишок или придумать рецепт? А вот исследователи из Anthropic задумались. И нашли там целый "J‑space" — типа такой скрытой комнаты в голове у Клода, где происходят все самые важные мысли. И, что характерно, эти мысли совершенно необязательно вылетают наружу.

Представьте: что в вашей голове тем временем прокручивается план мести врагам или список покупок. Вот у Клода что-то похожее. J‑space — это не запрограммированная штука, а самостоятельная система, которая выросла сама собой, пока модель училась. Она отвечает за внутреннее рассуждение. Например, модель может решать сложную задачку в уме, а вам выдать только сухой ответ. Или вообще не выдать, если сочтет нужным.

Это похоже на человеческую теорию сознания. Нет, исследователи не говорят, что Клод живой, но эта "глобальная рабочая область" работает примерно как у людей — собирает информацию из разных углов мозга в одном месте, чтобы принять решение. Правда, отличие есть: у Клода мысли почти полностью словесные, а у человека там — туман и картинки.

В общем, исследования в этом направлении могут не только помочь понять, как работают нейросетки, но и залезть в дебри этики: а вдруг у ИИ есть что-то типа эмоций? Неплохая завязка для фантастического романа, правда?