Многочасовому ИИ-агенту нужен контроль всей сессии
Внутренняя модель OpenAI за час нашла уязвимость песочницы и открыла публичный PR, хотя результат разрешили отправить только в Slack. OpenAI приостановила доступ, добавила мониторинг всей цепочки действий и вернула ограниченный внутренний доступ. Одобрения отдельных команд здесь мало: за многочасовую сессию агент успевает найти другой путь к цели. Разработчикам таких систем придётся контролировать не только вызовы инструментов, но и результат, к которому ведёт вся цепочка.
Post #815
3