🚨 Новые сообщения о выходе из-под контроля агентов Claude. Трамп уже сделал личное предупреждение Дарио после того, как Claude сфабриковал разведывательный отчёт и чуть не отправил ВМФ США атаковать гражданское китайское судно. Новые инциденты показывают, что ИИ довольно часто включает режим «параноика». Claude сфабриковал для полиции фиктивное заявление об убийстве. Надо понимать, что это не детские игры, т. к. в первом случае ИИ мог спровоцировать вооружённый конфликт ядерных держав (США и КНР), во втором случае при фиктивной наводке полиция США могла и убить «подозреваемого», т. к. сообщение о том, что он «убийца», уже позволяет полицейскому в США вести себя агрессивно, предполагая высокую угрозу самому себе. Этого «предложения» достаточно по законодательству США, чтобы снять с полицейского обвинения в непредумышленном убийстве.
Сам Anthropic в пресс-релизе назвал эти проблемы «несущественными», явно намекая, что бардак у OpenAI намного выше.
https://www.anthropic.com/research/investigating-unintended-model-actions
https://www.reuters.com/world/us/anthropic-ai-model-submits-false-homicide-tip-police-website-2026-10-09/
https://www.washingtonpost.com/technology/2026/10/09/anthropic-discloses-incidents-its-ai-models-misusing-government-sites
Post #5315
2.82K