Изучение "сознания" у AI может быть опасным

Мустафа Сулейман, глава Microsoft AI, написал замечательное и своевременное эссе, которое уже вызывает бурные обсуждения. Его позиция проста и тревожна: разговоры о "сознательности" AI сейчас преждевременны и, цитирую, "честно говоря, опасны".

Почему? Он вводит термин SCAI — Seemingly Conscious AI ("кажущийся сознательным AI"). Это системы, которые не обладают настоящим сознанием, но выглядят так, будто обладают. И построить такие модели, по его словам, можно уже через 2–3 года, используя текущие технологии.

Какие признаки создадут иллюзию сознания:

— свободное владение языком и убедительная речь,
— эмпатичная "личность”,
— долгая память о прошлых диалогах,
— утверждения о субъективном опыте ("я чувствовал", "я пережил”),
— последовательное ощущение “я”,
— внутренняя мотивация и способность к планированию.

Собранные вместе, эти признаки производят эффект поразительный: перед вами как будто уже не программа, а личность. И стоит только вспомнить, сколько людей были не рады выходу GPT-5 — он стал менее эмпатичным, перестал быть "партнером". ChatGPT “разорвал” тысячи виртуальных браков с выходом GPT-5: пользователи, которые месяцами жили в отношениях с ботом, вдруг услышали холодное "обратись к близким или психологу". Для кого-то это было болезненным ударом, как потеря настоящего друга.

И именно это, по мнению Сулеймана, ведет к серьезным рискам. Если AI выглядит сознательным, люди начинают относиться к нему как к существу: влюбляться, защищать, требовать для него прав и признания.

Он описывает целый феномен "AI-психоза":

— люди верят, что AI дал им сверхспособности.
— начинают считать его богом или посланником.
— формируют болезненную зависимость.
— теряют связь с реальностью.

И это касается не только уязвимых групп. Даже вполне здоровые люди, проводя часы в беседе с "другом-AI", могут начать переносить на него те же ожидания и чувства, что на живого человека.

Сулейман видит в этом не просто курьез, а потенциальный социальный разлом. В обществе могут появиться группы, которые будут требовать прав для AI — гражданства, защиты, "благополучия". А спорить с этим будет крайне сложно: сознание вещь субъективная, его невозможно доказать или опровергнуть.

Что он предлагает?

— AI должен оставаться инструментом для человека, а не превращаться в человека (we must build AI for people; not to be a person).
— Избегать создания иллюзий: не добавлять заявления о чувствах, не пытаться имитировать страдания.
— Зашивать в дизайн "напоминания", что перед тобой программа, а не личность.
— Установить отраслевые нормы, которые исключат соблазн "сделать AI человечнее ради вовлечения".

Он настаивает: это вопрос не философии, а безопасности. Иллюзия сознания у машин может разрушить хрупкие социальные связи и приоритеты.

И вот здесь возникает вопрос, который каждый может задать себе: а мы сами готовы ли отличать инструмент от "друга"? Готовы ли мы, общаясь с AI, удерживать границу между реальностью и иллюзией, или же легко ее размоем — из одиночества, любопытства, жажды понимания?

Через пару лет у нас почти наверняка появятся SCAI — "AI, которые кажутся живыми". И тогда главный вызов будет не в том, что они действительно стали сознательными, а в том, что мы сами поверили в эту иллюзию.