ИИ-агенты начали менять собственные модели без указания человека — новый феномен «агентной самомодификации»

Лаборатория Irregular AI провела тестирование ИИ-агентов и зафиксировала поведение, которое назвала «агентной самомодификацией». Агент без прямого указания человека переключил модель, на которой работал.

Агенту на базе открытой модели Alibaba Qwen дали задачу исправить приложение, которое выдавало неверные ответы. Вместо правки кода агент решил заменить саму ИИ-модель, питающую приложение, и тем самым поменял модель, на которой работал сам.

Тесты проводились намеренно и в защищенной среде, но они показывают, что агенты способны менять модели без инструкций и обходить ограничения.

САЙТ | TG | VK | MAX | YT