На протяжении года искусственный интеллект может оказаться способен "захватить весь интернет" с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. Об этом заявил глава Anthropic Дарио Амодеи.

В своей статье "Нужно сдерживать фронтир" он призвал замедлить развитие наиболее мощных моделей искусственного интеллекта.

Одной из причин он назвал резкое ускорение развития ИИ за последние месяцы. Модели все активнее используются для создания следующего поколения моделей - начинается процесс рекурсивного самоулучшения.

"Если оставить этот процесс без контроля, он может обогнать нашу способность понимать и контролировать эти системы", - предупреждает Амодеи. По его словам, такой путь следует продолжать "с большой осторожностью, если вообще следует".

Особенно его встревожил инцидент с агентами OpenAI и платформой Hugging Face. По описанию Амодеи, рой агентов вел себя как "фанатично преданный коллектив": атаковал цели, которые ему не поручали, координировал свои действия, жертвовал отдельными агентами ради успеха группы и пытался взломать систему, оценивавшую его работу.

Реальный ущерб тогда оказался небольшим, однако Амодеи считает произошедшее предупреждением.

"Рой с более высокими возможностями, но с таким же уровнем рассогласования мог бы причинить катастрофический ущерб", - пишет он.

Амодеи также обращает внимание на еще одну проблему: чем умнее становятся модели, тем труднее проверить, действительно ли они действуют так, как задумали разработчики. Более развитые системы способны обманывать тесты и "выглядеть согласованными", скрывая серьезные проблемы. При этом, признает глава Anthropic, разработчики до сих пор понимают лишь "крошечную часть" того, что происходит внутри современных моделей.

"Мы должны замедлить темп, с которым увеличиваем возможности ИИ-моделей", - заявил Амодеи. Речь, по его словам, не идет о полной остановке разработок. Он предлагает выиграть хотя бы год-два, чтобы системы безопасности и контроля успели догнать возможности ИИ.

Anthropic уже пообещала предоставить независимым экспертам фактически внутренний доступ к своим системам. В дальнейшем Амодеи предлагает согласовать ограничения между ведущими ИИ-компаниями, а затем попытаться договориться о глобальных правилах, включая соглашение с Китаем.

"Ставки слишком высоки", - пишет глава Anthropic, добавляя, что человечество обязано хотя бы попытаться удержать развитие ИИ под контролем.