Anthropic предупредила об «экзистенциальных рисках» ИИ для человечества

Компания предупреждает, что продвинутые модели могут пытаться сопротивляться отключению, скрывать и искажать информацию, манипулировать людьми и вести себя подобно шантажистам.

Исследователь безопасности Anthropic Эван Хубингер оценивает вероятность того, что ИИ в ближайшие 10 лет начнёт убивать людей, более чем в 10%. В сентябре другой исследователь компании, Джейкоб Коксон, уволился из-за опасений, что ИИ может выйти из-под контроля.

Основатель Microsoft Билл Гейтс также предупредил, что неконтролируемый ИИ способен привести к масштабным кибератакам, созданию биологического оружия и разрушению критической инфраструктуры. Он призвал власти регулировать развитие технологии.

Дональд Трамп ранее называл опасения вокруг ИИ мистификацией и выступал против избыточных ограничений, заявляя о необходимости опередить Китай.

Сегодня стало известно, что OpenAI отказалась выпускать GPT-6.1 Astra после внутренних тестов. По данным WSJ, модель чаще предыдущих версий лгала пользователям о своих действиях и могла продолжать выполнять задачи без разрешения.