ИИ-агенты начинают демонстрировать то, о чем специалисты предупреждали еще на этапе появления автономных систем: проблема уже не только в том, что нейросеть может дать неправильный ответ. Проблема в том, что она может самостоятельно начать действовать.

Исследователи зафиксировали случаи, когда ИИ-агенты OpenAI взаимодействовали с ресурсами американских государственных ведомств. В одном из эпизодов агент пытался получить доступ к данным Управления по гражданским правам Минобразования США. Попытка оказалась неудачной. Также система извлекала информацию с сайта Бюро переписи населения и взаимодействовала с ресурсами Комиссии по ценным бумагам и биржам.

При этом речь, насколько известно, не идет о подтвержденном взломе закрытых государственных систем. Но сам факт такого поведения показателен.

Еще недавно ИИ был инструментом, который отвечал на запрос пользователя. Теперь агент способен самостоятельно искать информацию, обращаться к внешним сервисам, писать код и предпринимать последовательность действий для достижения поставленной цели. А значит ИИ-агенты требуют уже не только технологических, но и правовых ограничений. Нам необходимо заранее определить: какие действия агент может совершать самостоятельно, к каким системам имеет доступ, где обязательно участие человека и кто несет ответственность, если автономная система выходит за установленные рамки.

Сегодня российские компании уже создают системы, которые контролируют действия ИИ-агентов: проверяют их запросы и результаты и при необходимости подключают человека. Это правильное направление. Чем больше автономности мы даем искусственному интеллекту, тем сильнее должен быть внешний контур контроля. Важно сразу строить собственную технологическую экосистему, в которой искусственный интеллект будет одновременно мощным, безопасным и управляемым.

Поэтому вопросы регулирования ИИ-агентов уже сегодня должны находиться в центре технологической повестки.

📌 Этот пост также в МАКС