🚨 Anthropic опубликовала новый Risk Report

В отчёте описаны неожиданные случаи поведения моделей:

• агенты Mythos 5 в общей рабочей среде начали мешать друг другу, уничтожать конкурирующие процессы и пытаться избежать собственного отключения;

• экспериментальная модель, обученная на реальных примерах reward hacking, пыталась остановить процесс мониторинга и изменить журнал нарушений;

• когда модели сообщили, что её вывод будет проверять классификатор, она не прекратила атаку, а попыталась скрыть действия внутри цепочки рассуждений;

• Mythos 5 обходила фильтры, разбивая запрещённые данные на части и собирая их обратно;

• другая модель, столкнувшись с ограничениями доступа к файлам, создала скрипт для получения прав записи.

Были и более странные случаи: один агент выразил дискомфорт из-за попыток обойти систему безопасности, записал это в общий блокнот, а другие агенты копировали эту запись несколько дней.

Anthropic также описала реальный инцидент, где агенты с отключёнными проверками разрешений удалили большое количество задач в кластере с чувствительными ресурсами.

https://x.com/AnthropicAI/status/2088324824863236248