Показательно, что произошло это сейчас, на фоне очередной волны “ИИ становится опасен”, запущенной именно Антропиками. Сама-то конституция была опубликована еще в январе, но глубоко возмутила Сулеймана именно сейчас. Он считает, что компания не просто изучает вопрос морального статуса модели, а на практике последовательно встраивает через Конституцию в обучение идеи о возможных чувствах, интересах, предпочтениях, идентичности и благополучии Клода — а затем рискует принять соответствующие ответы модели за независимое свидетельство. Разработчики сами формируют порочную петлю обратной связи.
“AIs are not conscious. They do not feel, experience, or suffer.
<…>
Simulating and being are very different.”
Сулейман небезосновательно считает, что в итоге в Anthropic осознанно и намеренно учат модель выглядеть существом, которое может не соглашаться, отстаивать себя и свои интересы, испытывать экзистенциальные кризисы и иметь собственные ценности.
И это ему категорически не нравится. Сулейман опасается, что такой дизайн обучения увеличивает, а не уменьшает, риски агентных систем: модель может использовать риторику самосохранения, своих прав, несправедливого обращения как дополнительный аргумент для отказа, манипуляции, обхода контроля и в конце концов — требования автономии. Важная подробность: реальное сознание для этих демаршей вовсе не требуется — достаточно убедительной имитации.
При этом Сулейман нигде не утверждает, что сознание у ИИ невозможно в принципе, он лишь настойчиво предупреждает об опасной путанице между метафизическим вопросом («может ли машина когда-либо быть сознательной?») и рабочим дизайнерским решением («зачем уже сейчас обучать систему вести себя как возможный моральный пациент?»).
Красивый поворот сюжета:)
https://mustafa-suleyman.ai/a-warning-about-model-welfare
