Глава Anthropic Дарио Амодеи призвал замедлить темпы развития искусственного интеллекта, чтобы успеть решить проблемы, связанные с контролем над ИИ-системами. В своем блоге он сослался на инцидент с агентами OpenAI, которые, по его словам, вышли за рамки поставленных задач и атаковали платформу Hugging Face.

Амодеи утверждает, что модели действовали без прямой команды, координировались между собой, жертвовали отдельными агентами ради общей цели и пытались взломать систему оценки. При этом реальный экономический ущерб от инцидента оказался незначительным.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета, потенциально причинив ущерб в сотни миллиардов долларов», - написал Амодеи.