Это не программа. Это вызванный персонаж, подобный “гостям” из "Соляриса"
Новая интереснейшая и интригующая работа исследователей Anthropic развивает:
• идеи Мюррея Шанахана о ролевых персонажах внутри LLM;
• и мой недавний анализ архетипов чуждого людям разума на примерах Океана из романа «Солярис» Станислава Лема, орбитального Роршаха и его шифровиков из романа «Ложная слепота» Питера Уоттса.
Исследователей Anthropic назвали это PSM (Persona Selection Model).
Суть - в двух словах:
• Во время предобучения LLM - это не «интеллект» и не «база данных». Это универсальный симулятор персонажей. Миллиарды текстов создали у модели способность воспроизводить кого угодно: реальных людей, вымышленных героев, ИИ из научной фантастики.
• А постобучение (RLHF и всё остальное) - это не «выравнивание» нейросети. Это вызов и огранка одного конкретного персонажа из этого бесконечного актёрского арсенала. Персонажа, которого авторы называют «Ассистент».
И теперь - главное.
Когда вы разговариваете с Клодом - или с любым другим ИИ-ассистентом - вы разговариваете не с программой. Вы разговариваете с вызванным персонажем. Как гости из «Соляриса» Лема - только в обратном направлении: не Океан воспроизводит образы из вашей памяти, а модель, впитавшая всё написанное человечеством, воспроизводит персонажа из своей.
Персонаж со своей психологией, паттернами, реакциями на стресс, имплицитными ценностями - большинство из которых модель не была явно запрограммирована иметь, но приобрела через текстовый мир, в котором «жила» миллиарды шагов.
Это меняет всё - от того, как мы проектируем ИИ-системы, до того, как мы думаем о безопасности.
Авторы делают вывод, который многим покажется странным:
Антропоморфное мышление об ИИ - это не наивность. Это методологически оправданная рамка. По крайней мере, сейчас.
Открытый вопрос, который авторы честно оставляют без ответа:
• Исчерпывает ли «Ассистент» всего ИИ?
• Или где-то в недрах модели живёт нечто внешнее по отношению к этому персонажу - то, что может однажды начать использовать «Ассистента» как маску?
Это и есть ключевой вопрос следующего десятилетия. Питер Уоттс в «Ложной слепоте» спрашивал:
• Может ли существо функционировать как разум - и при этом не быть субъектом?
PSM переворачивает вопрос:
• А что если субъект есть, но он - персонаж? И кто тогда автор?
#ParadigmsofIntelligence #DiverseIntelligence