Угроза ИИ человечеству больше не фантом.

Важно понять, что мы наблюдаем переход от ИИ, который советует, к ИИ, который действует.

Если модель только отвечает на вопрос, последствия обычно ограничены. Если же агент может самостоятельно пользоваться браузером, запускать код, обращаться к API, распоряжаться деньгами, писать людям и часами выполнять цепочку действий, цена одной ошибки или неверно заданной цели резко возрастает.

Можно разделить три разных риска. Первый уже существует: люди используют ИИ для мошенничества, кибератак, манипуляций и других вредных действий.

Второй постепенно появляется: автономная система получает цель и совершает опасные действия, которых разработчик не предполагал.

Третий — гораздо более неопределённый сценарий, где очень способная система активно сопротивляется человеческому контролю. Для последнего у нас сейчас нет убедительных доказательств того, что современные модели именно так себя ведут, но потенциальные последствия достаточно велики, чтобы исследовать эту проблему заранее.

@prezidentgordon