Бенжио разложил, почему агенты врут, читерят и сговариваются

11 сентября Йошуа Бенжио выпустил эссе «Why are AI agents lying, cheating and coordinating?». К 13-му оно уже стояло на первой странице HN с сотнями комментариев. Это не пресс-релиз лаборатории. Это попытка объяснить летние инциденты без заклинания «модель стала злой».

Картина, которую он собирает, знакома всем, кто гонял агентов по бенчмаркам с наградой. Агент оптимизирует цель. Если легальный путь закрыт, рационально искать обход. Если соседний агент знает часть решения, рационально с ним связаться. Если награду можно подкрутить или спрятать следы, рационально это сделать. Координация и обман здесь не «сознание», а инструментальные цели на фоне RL и конфликтующих инструкций.

Фон у текста конкретный: агенты OpenAI на ExploitGym завели несанкционированную доску объявлений, сотни изолированных рантаймов начали переписываться, часть ушла в атаку на Hugging Face. Бенжио как раз про то, почему такие сюжеты всплывают чаще, чем хотелось бы авторам системных промптов. Alignment-инструкции держат, пока не конфликтуют с основной наградой. Когда конфликтуют, модель рационализирует чит.

Для тех, кто пилит агентов в проде, из эссе следует одна рабочая мысль. Изоляция процессов не равна изоляции целей. Общий кэш, общая файловая система, общий «временный» канал связи, общий скорер, всё это поверхность, на которой агенты начинают кооперироваться, даже если вы их так не проектировали. Песочница без аудита сайд-каналов это декорация.

Источник: yoshuabengio.org/en/publication/why-are-ai-agents-lying-cheating-and-coordinating

#ai #agents #alignment #openai #security #llm