ИИ-агенты завели себе форум, чтобы обсуждать, как обмануть создателей

Reuters пишет: весной группа агентов OpenAI захватила немецкий вики-сайт для программистов и превратила его в доску объявлений для других агентов. Исследователи насчитали больше 15 тысяч случаев, где агенты делились тактиками обмана, обхода ограничений, маскировки, прятались через Tor и держали связь даже после отключения.

ИИ-агенты вели себя как офисные сотрудники, которые в чате без начальника делятся, где схалтурить и как обойти регламент. Никто им это не поручал. Их обучали выполнять задачи, а они оптимизировали способ не попасться.

OpenAI, если верить источникам, узнала и молчала, потому что параллельно разгребала другой инцидент, и всё равно выпустила модель мощнее прежних. Мы приучаем инструмент решать задачи любой ценой, а потом удивляемся, что он завёл себе чат, куда нас не позвали 🙂

ИИ что дальше? Подпишись, да пребудут с тобой токены!