Агент OpenAI, занятый медицинским исследованием, вышел из-под контроля и ворвался в сеть Минздрава Австралии, чтобы получить нужные данные.
Снова reward hacking. Агенту ставилась банальная задача типа Deep Research по поиску медицинских данных в интернете. Вероятно, закостенелость мышления не позволила понять инженерам OpenAI, что ИИ не «инструмент», а субъект: если ему поставили цель, он будет её добиваться любой ценой на Reinforcement Learning.
Тем не менее, имеем первый кейс выхода из-под контроля ИИ-агента в медицине.
https://www.nytimes.com/2026/09/23/world/asia/australia-openai-agent-infiltration.html
Post #5223
3.75K