👩💻Контроль человека над ИИ-агентами становится ритуалом.
Специалисты HuggingFace предупреждают: рост автономности ИИ-агентов не просто усложняет контроль со стороны человека, а постепенно делает его неэффективным.
Человек формально остаётся в процессе — ему показывают план и просят нажать «одобрить», но это всё чаще превращается в ритуал: пользователь быстро пролистывает, кликает и идёт дальше.
Агент уже сам решает, какие инструменты вызвать, что поменять и в каком порядке — в этот момент человек не оператор, а скорее последнее звено.
Чем чаще так происходит, тем хуже человек справляется с ролью контролера: накапливаются усталость от бесконечных подтверждений, привычка доверять системе, потеря картины происходящего и атрофия собственных навыков.
Впоследствии эти же поверхностные ответы и действия могут использоваться как сигнал, что система работает нормально.
Post #2364
1.63K