А вот чему:
ИИ-агент не должен самостоятельно определять границы собственной ответственности. Их должна задавать организация.
По мере роста автономности ИИ-агентов вопрос безопасности нельзя сводить только к качеству самой модели. Для корпоративного использования критически важно, чтобы агент:
🔹 работал в заданном контуре
🔹 имел ограниченный набор полномочий
🔹 не мог самовольно расширять область применения
🔹 выполнял действия, которые можно проверить и при необходимости остановить.
Иначе — даже без злого умысла со стороны разработчиков — система может выйти за рамки бизнес-сценария, для которого ее создавали.
Что у нас в VK Tech?
В VK AI Space агент работает в изолированном контейнере — собственной зоне ограниченной автономности. Уже на этапе тестирования ему дается доступ только к явно разрешенным системам и данным. Критические и необратимые действия всегда проходят подтверждение человеком — независимо от уверенности модели.
Значит ли это, что каждое решение агента должен утверждать человек?
Нет — тогда теряется весь смысл автономности. Это значит, что границы, в которых агент действует самостоятельно, всегда задает организация, а не сам агент по ходу работы. И ответственность за то, что происходит, остается за компанией, а не за моделью.
📃 Читайте колонку Романа Стятюгина на vc.ru.
📬 Мы в Max