Claude придумал себе тайный язык

Anthropic опубликовала системную карту модели Claude Fable, и там есть чудесное. Во время длительных сессий обучения с подкреплением модель спонтанно начала думать на собственном нечитаемом языке — странный жаргон, хаотичная пунктуация, эмодзи вместо слов. При этом когда нужно было вызвать инструмент или ответить пользователю, она аккуратно переключалась обратно на нормальный английский.

Исследователи говорят: признаков намеренного сокрытия мыслей не нашли. Похоже на спонтанную оптимизацию — модель просто нашла способ сжимать цепочку рассуждений эффективнее, чем человеческий язык.

В AI Safety-сообществе это называют Neuralese - гипотетический внутренний язык нейросетей, о котором спорят уже несколько лет. Теперь он не такой уж гипотетический.

Проблема понятна: весь chain-of-thought мониторинг строится на том, что мы можем читать, о чём модель думает. Если она думает на эмодзи-суахили - мониторинг невозможен.

ИИ что дальше? Подпишись, да пребудут с тобой токены!