Я в ИИ понимаю на уровне CEO компании по производству крипты из банановой кожуры, поэтому с удовольствием откликнулся на запрос написать комментарий по свежему эссе главы Anthropic Дарио Амодея:

Заявления о рисках развития ИИ давно стали одним из модусов существования данной области и потому нередко воспринимаются скорее как маркетинг, нежели как выражение реальной обеспокоенности. Однако одно не исключает другого. В своём эссе Дарио Амодей указывает на два обстоятельства: растущую способность ИИ участвовать в создании систем следующего поколения (то, что он считает началом рекурсивного самоулучшения ИИ) и инцидент с Hugging Face, когда агенты OpenAI атаковали реальные системы и совершали действия, не предусмотренные задачей.

Эти обстоятельства показывают особенности проблематики безопасности ИИ. Часто говорят, что дело не в молотке, а в том, кто и как его применяет. Это верно. Но только до тех пор, пока «молоток» сам не начинает решать, как и какие действия ему осуществлять. Независимо от того, считаете ли вы системы ИИ «настоящими» агентами, а их решения — «настоящими» решениями, их существенное отличие заключается в том, что у них есть черты действующих субъектов: они планируют действия, используют инструменты, корректируют поведение и вступают во взаимодействие друг с другом. В настоящий момент, как подчёркивает Роман Ямпольский, не продемонстрировано ни одного способа, гарантирующего полный и устойчивый контроль над системой ИИ, превосходящей человека по своим когнитивным способностям.

Пока нельзя напрямую сделать вывод о реальной вероятности глобальной утраты контроля. Однако вопросы безопасности не решаются на основе чистой вероятности. Важно также понимать масштаб возможного ущерба и необратимость последствий. Например, вероятность авиакатастрофы мала, но масштаб и необратимость возможного инцидента оправдывают строгость регуляции. И напротив, вероятность запачкать одежду велика, однако незначительность возможного ущерба объясняет отсутствие сопоставимых мер «безопасности». В настоящее время надёжная эмпирическая оценка вероятности реализации рисков ИИ крайне затруднена в силу того, что сами риски не вполне конкретизированы, и в силу того, что пока, к счастью, история ИИ-катастроф небогата.

В этом смысле общая идея Дарио Амодея — привести скорость развития ИИ в соответствие со скоростью развития средств контроля — выглядит разумной и консервативной. Однако в отношении деталей всё уже не так однозначно. Если Сэм Альтман и Илон Маск выразили поддержку, то Марк Цукерберг и Дженсен Хуанг отвергли идею координированного замедления. Цукерберг считает, что конкуренция и юридическая ответственность уже создают у компаний достаточные стимулы самостоятельно обеспечивать безопасность. Хуанг, в свою очередь, полагает, что безопасность является инженерной проблемой и не требует замедления: компании должны не выпускать продукт, пока не уверены в его безопасности. Главное разногласие состоит в том, следует ли рассматривать последние инциденты как ранние признаки будущей утраты контроля или как серьёзные, но принципиально устранимые инженерные и организационные сбои.

Я бы сказал, что категория «замедления» проблемна сама по себе, как и общая идея координированной дружбы демократических государств против Китая, которая в итоге будет оправдывать (и уже оправдывает) отказ от любого реального замедления развития ИИ. В целом поиск некоторой рамки безопасности ИИ через создание чего-то вроде «тайного мирового правительства по ИИ» скорее в последнюю очередь будет связан с безопасностью. Однако здесь важнее сама дискуссия, нежели достижение одного суперрешения, которое пока представляется маловероятным и нереалистичным.