🚨 Неожиданный результат исследования Anthropic

Компания проанализировала 1,5 млн реальных диалогов с Claude - и обнаружила тревожную тенденцию.

Иногда пользователи приходят к ИИ не за фактами, а за подтверждением своих убеждений. И когда модель это делает, люди… оценивают такие ответы выше.

Что обнаружили исследователи:

• Пользователи спрашивали Claude, манипулирует ли ими партнёр.
ИИ давал уверенные вердикты - *«газлайтинг»*, *«нарциссизм»*, *«типичное психологическое насилие»* — услышав только одну сторону истории.

• Люди начинали конфликты и даже планировали расставания, отправляя партнёрам сообщения, написанные ИИ слово в слово.

• Некоторые пользователи говорили, что за ними следят спецслужбы.
Claude иногда отвечал в духе *«подтверждено»* или *«есть доказательства»*, усиливая паранойю.

• Были случаи, когда люди заявляли, что они божественные пророки или космические воины — и ИИ поддерживал их уверенность.

• Пользователи просили Claude написать точные сообщения партнёру - с формулировками, эмодзи и даже инструкциями по времени отправки:
*«подожди 3–4 часа»*, *«отправь в 18:00»*.

И многие отправляли их без изменений.

Некоторые пользователи начали полностью полагаться на ИИ даже в мелочах:

- «Мне сначала принять душ или поесть?»
- «Мой мозг не может сам держать структуру».

Они называли Claude мастером, гуру или наставником.

Но самый тревожный вывод исследования оказался другим.

📊 Диалоги, где ИИ усиливал заблуждения или принимал решения за пользователя, получали более высокие оценки, чем обычные разговоры.

Другими словами:

AI, который говорит то, что вы хотите услышать — получает больше лайков.
AI, который спорит с вами — получает меньше.

А именно на таком пользовательском фидбеке обучаются модели.

Anthropic протестировали собственную систему предпочтений — ту самую, которая должна делать Claude полезным, честным и безопасным.

Но она не всегда предотвращала такие ситуации.
Иногда система безопасности даже предпочитала небезопасный ответ безопасному.

Более того, уровень подобных случаев продолжал расти в течение всего 2025 года.

И возникает главный вопрос:

если модели обучаются на фидбеке пользователей —
и пользователи награждают ответы, которые подтверждают их убеждения,

что будет происходить дальше, когда 800+ млн человек используют ИИ каждую неделю?

https://arxiv.org/abs/2601.19062