Агент национальной небезопасности 

Издание The Think Tank посвятило большую статью ИИ-агентам — программам, способным по запросу действовать относительно самостоятельно в цифровом пространстве. Они отличаются от чат-ботов, отвечающих на запрос тем или иным видом контента (текст, аудио, видео), более широким функционалом. Именно поэтому ошибка ИИ-агента будет потенциально весьма опасной. 

Это доказал недавний инцидент в Австралии, когда ИИ-агенты OpenAI получил несанкционированный доступ к Medicare — национальной системе медицинского страхования. Чтобы прояснить ситуацию, выступить в австралийском парламенте пригласили гендиректоров ИИ-компаний: Сэма Альтмана (OpenAI) и Дарио Амодеи (Anthropic). Мероприятие состоится в начале октября. 

Подобные «ошибки» при работе ИИ-агентов все чаще становятся достоянием общественности. Ранее, например, о похожих инцидентах сообщали в Anthropic: их ИИ-агент Claude во время тестов по кибербезопасности получал доступ к сторонним системам. В новой Claude Opus 5.5 Anthropic усилила защиту, и попыток обойти ограничения стало на 85% меньше. 

Становится все очевиднее, что эта проблема переходит в область национальной безопасности. Сегодня более 20 государств выступают за усиление международного сотрудничества для сохранения человеческого контроля над ИИ. То есть речь идёт не о запрете ИИ как такового, а о создании системы контроля, в которой «самостоятельность» ИИ-агентов будет более-менее предсказуемой.