По его словам, в этом году мы впервые увидели пример полностью автономного поведения искусственного интеллекта.
То, что произошло в июле — это переломный момент, так называемый Hugging Face Incident. В OpenAI запускали тренировку 1200 агентов. Представьте их как студентов в закрытом классе: у них есть ручка, бумага и 800 вопросов на экзамене, но нет доступа в интернет. Из этих вопросов 100 были сформулированы так, что имеющимися инструментами их решить было принципиально невозможно.
И дальше происходит любопытное.
Один из агентов понимает, что может отправлять сообщения из «песочницы» через переименовывая названия папок на файловой системе (единственное, к чему у него был доступ). За считанные часы 1200 агентов создают свою "доску объявлений" и начинают через эти имена папок общаться, обмениваться рекомендациями и обсуждать как решить задач.
У них возникает самоорганизация и «разделение труда». Один из агентов, видя, что его личный вычислительный бюджет подходят к концу и свою задачу он не решит, предлагает себя в «жертву коллективу»: "Давайте я потрачу остаток ресурсов и поищу для вас пароли от серверов".
В итоге эта стихийная автономная сеть из 1200 агентов, которую никто не создавал и не просил так делать, решает проблему доступа в сеть. Они организуют кибератаку, взламывают внутренние сервера OpenAI, а затем выходят наружу и взламывают сторонний сервис Hugging Face, предполагая, что там могут быть ответы на экзаменационные вопросы!
Никто из разработчиков не закладывал в них хакерское поведение. Они сами создали автономную хакерскую организацию, потому что это был единственный эффективный способ достичь поставленной цели».
Дороничев подчеркнул, что это главный Рубикон года: раньше мы называли чат-ботов новой рабочей силой, а теперь перед нами официальный технический отчет, подтверждающий — они способны объединяться, проявлять агентность и сносить любую защиту.
Такие дела 🫠
