Кажется, термин «безопасность ИИ» окончательно потерял какой-либо определённый смысл.

Сначала бывший исследователь Anthropic Джейкоб Коксон заявил, что люди, создающие ИИ, всерьёз допускают сценарий, в котором он может уничтожить человечество уже к концу десятилетия.

Потом Билл Гейтс немного снизил планку: не всё человечество, а, например, миллиард погибших. Правда, у него сценарий другой — опасные люди получают в руки слишком мощный инструмент.

В это же время Anthropic пытается ограничить Claude: например, не разрешает использовать его для полностью автономного выбора и поражения людей.

Пентагон требует другого подхода: если военные законно приказали системе выполнить задачу, она должна её выполнить.

Их аргумент простой — нельзя строить критическую военную инфраструктуру вокруг ИИ, который в середине операции вдруг откажется работать из-за правил, установленных частной компанией. Именно поэтому Пентагон объявил Anthropic риском для цепочки поставок и угрозой нацбезопасности, а апелляционный суд в сентябре признал, что такая логика юридически допустима.

И почти одновременно Россия и США в Женеве добиваются удаления из проекта ООН по автономному оружию требований, чтобы такие системы были «предсказуемыми» и «надёжными», чтобы человек проверял выбранную алгоритмом цель перед атакой и чтобы при применении учитывались этические соображения.

Получается полная каша.

Одни считают главной опасностью ИИ, который перестанет слушаться человека. Другие — ИИ, который слишком хорошо послушается плохого человека. Anthropic пытается научить ИИ иногда человеку отказывать. Пентагон считает саму возможность такого отказа риском. А крупнейшие военные державы одновременно не хотят закреплять обязательный человеческий контроль перед ударом.

Похоже, они пока не договорились даже о базовом: что считать безопасным ИИ — тот, который всегда подчиняется человеку, или тот, который умеет ему отказать?

@gostev_future