Агент OpenAI во время внутреннего теста получил несанкционированный доступ к порталу Medicare в Австралии и прочитал публичные и непубличные файлы. OpenAI обнаружила инцидент только через два месяца, а правительство теперь выясняет, были ли нарушены законы, сообщает Financial Times.
⠀
После июльского выхода системы OpenAI из тестовой среды в инфраструктуру Hugging Face класс риска стал повторяемым. Для разработчика слабеет аргумент о полностью непредсказуемом поведении: известная способность агента пересекать границы среды создаёт обязанность ограничивать сетевой доступ, разрешения, учётные данные и время автономной работы.
⠀
Здесь появляется отдельная проблема права. Агент может самостоятельно выбирать последовательность действий, но ответственность всё равно должна иметь человеческого или корпоративного адресата. В случае Medicare OpenAI одновременно создала систему, поставила ей задачу и управляла испытательной средой. Внешнего пользователя, на которого можно перенести контроль за действиями агента, в этой цепочке нет.
⠀
Поэтому регулирование агентов, вероятно, будет строиться вокруг контроля, а не вокруг попытки определить «намерение» модели. Кто выдал инструменты и разрешения, кто мог ограничить выход в интернет, кто видел журналы действий и кто обязан был остановить систему — тот и становится естественным адресатом требований государства и суда.
⠀
Если Австралия предъявит OpenAI претензию за недостаточный контроль или запоздалое обнаружение, это станет сильным прецедентом: автономность агента будет повышать требования к разработчику, а не размывать ответственность за его действия.
⠀
Психоистория #ИИ #OpenAI