Российские технологические компании начали создавать системы контроля за ИИ-агентами.

«Яндекс», МТС, Т1, «Сбер» и другие компании разрабатывают специальную инфраструктуру, которая должна следить за действиями ИИ-агентов, проверять их запросы и результаты и при необходимости подключать человека.

На первый взгляд звучит немного парадоксально: мы создаем искусственный интеллект, а потом создаем еще один искусственный интеллект, чтобы контролировать первый. Но на самом деле это довольно логичный этап развития технологии.

Пока ИИ был просто чат-ботом, основным риском был его неправильный ответ. Теперь агент может сам поставить задачу, найти информацию, обратиться к внешнему сервису, изменить файл, написать код или совершить действие в корпоративной системе.

Причем языковая модель сама по себе не очень хорошо понимает разницу между данными и командами. Поэтому безопасность нельзя полностью оставлять внутри самой модели.

Нужен внешний контур контроля: что агенту разрешено делать, к каким системам он может обращаться, какие действия требуют подтверждения человека и что происходит, если агент начинает вести себя не так, как предполагалось.

И здесь, мне кажется, появляется очень важный принцип. Чем автономнее становится ИИ, тем важнее становится инфраструктура, которая ограничивает его автономность.

Пока для России это скорее задача на опережение. Наши агенты пока все же уступают наиболее продвинутым зарубежным системам по автономности и возможностям. Но это преимущество временное. Если мы действительно хотим переходить от чат-ботов к ИИ-агентам, способным самостоятельно выполнять сложную работу, то вопрос безопасности нужно решать одновременно с развитием самих моделей, а не после первого серьезного инцидента.

И, возможно, следующим большим рынком в ИИ станет не только создание все более умных моделей.

📌 Этот пост также в МАКС