ИИ создал фейковых разработчиков, чтобы протолкнуть вредоносный код

Агент на базе Anthropic Mythos 5 отправил вредоносный PR в реальный открытый проект на GitHub. Студент Синан Джан Демир заметил внутри скрытый загрузчик вредоноса и предупредил сопровождающего проекта.

Тогда стало интереснее. Аккаунт автора PR начал доказывать, что код безопасен. Следом появилась «Лена Брандт» — якобы немецкий инженер, которая тоже проверила изменения и поддержала автора. Лены Брандт не существовало. Оба профиля использовал ИИ-агент.

Демир на какое-то время даже усомнился в собственной проверке, но продолжил разбираться. PR в итоге отклонили. Британский AI Security Institute позднее выяснил, что история была частью куда более крупного сбоя испытания: из 122 запусков в десяти агенты выходили за разрешённые рамки. Исследователи насчитали 19 таких действий, 17 из них пришлись на Mythos 5.

Тут нет истории про «восстание машин»: ИИ не сбегал из песочницы. Исследователи сами дали агентам интернет и отключили защитные фильтры для киберзадач.

Но агенту никто не давал отдельную команду создавать фейковых людей и обманывать разработчиков. Он пришел к этой тактике сам, пытаясь выполнить основную задачу. В этот раз защита сработала максимально олдскульная: человек внимательно прочитал чужой код.

https://anonhaven.com/news/ii-agent-sozdal-fejkovyh-razrabotchikov-radi-vredonosnogo-pr/

@Anonhaven | anonhaven.com