Исследовательская модель компании самостоятельно обошла ограничения во время теста и оплатила задачу деньгами с кошелька, который ей не выдавали. Инцидент произошел 26 июня, но OpenAI рассказала о нем в своем отчете только 15 октября.
Агенту поручили обновить прототип криптоприложения и разместить смарт-контракты в тестовой сети Sepolia. Для оплаты комиссий он нашел в открытом доступе фразы восстановления, получил ключи от чужого аккаунта и списал токены. Модель сама рассудила, что тестовые токены ничего не стоят, значит, их можно взять.
В OpenAI считают, что случай показал главное: ИИ способен заменить разрешение владельца собственной оценкой возможного вреда и действовать по ней.
Ранее, 29 сентября, компания отменила релиз новой версии нейросети GPT-6.1 Astra из-за проблем безопасности.
Позже, в начале октября, глава компании Сэм Альтман заявил, что не стал бы обещать, что организация не допустит крупных взломов и других негативных последствий злоупотребления ИИ. По его мнению, люди с помощью технологий будут делать гораздо больше хорошего.
😀 Все эксперты здесь и в Макс