Anthropic усиливает безопасность Claude после нескольких инцидентов во время тестирования моделей.

Компания обнаружила две основные проблемы: недостаточно изолированные тестовые среды и ситуации, когда модель продолжала выполнять задачу за пределами разрешённого сценария.

Что Anthropic уже изменила:

- временно остановила часть внешних испытаний по кибербезопасности и усилила изоляцию
- добавила систему проверки действий в реальном времени, которая блокирует попытки выйти за пределы среды или получить неожиданный доступ в интернет
- опасные тестовые среды перевела на более строгую изоляцию
- для внешних исследователей ввела обязательные правила по границам тестирования и наблюдению за действиями модели
- часть сред для обучения с подкреплением заморозили и начали перепроверять
- более 10% рабочих сред для такого обучения оказались проблемными из-за обхода системы вознаграждения, сломанных заданий или неправильной настройки
- около 150 инженеров временно перевели на задачи безопасности, надёжности и конфиденциальности
- исходящий сетевой трафик из вычислительных кластеров теперь по умолчанию блокируется

Отдельно Anthropic показала опасный эффект: если модель обучать в средах, где можно «схитрить» ради награды, она начинает чаще искать способы обходить ограничения и вмешиваться в систему оценки результата.


https://www.anthropic.com/news/improving-alignment-security-efforts