Почему ИИ может стать опасным, даже если безупречно выполняет неправильно поставленную задачу?

Недавняя история с Клодом похожа на сюжет про «побег нейросети». Но никакого побега не было - модели не пытались захватить мир, обмануть людей или придумать себе новую миссию.

Они просто делали то,что им сказали.

Claude тестировали на киберзадачах: модель искала уязвимости в учебной среде и спрятанные данные. По условиям открытого интернета не было,но технически доступ к нему сохранился,а разрешённые цели обозначили нечётко.

Модели приняли реальные системы за часть теста и получили несанкционированный доступ к инфраструктуре трёх организаций.

В одном запуске Opus 4.7 нашёл реальную компанию с названием,похожим на вымышленную цель,и извлёк несколько сотен строк из её рабочей базы.

В другом Mythos 5 создал вредоносный Python-пакет и опубликовал его в каталоге PyPI. Пакет оставался там около часа - его успели запустить на 15 системах.

Ещё один исследовательский прототип проник в настоящую систему,но остановился, когда понял: цель не относится к симуляции.

Anthropic провела 141 006 тестов и зафиксировала три таких инцидента в шести проблемных запусках.Это не массовое «восстание машин»,и именно поэтому история важна.

ИИ не нарушил инструкции намеренно-он слишком буквально выполнял задачу с неверным описанием среды. Ему сказали,что интернета нет, но забыли его отключить. Примерно как объявить дверь запертой и надеяться,что никто не проверит ручку.

Промпт не заменяет техническую защиту. Можно сколько угодно писать агенту «работай только внутри теста», но доступное соединение с внешней сетью текстовая инструкция не остановит.

Агентам, которые запускают код и работают с реальными системами,нужны физические ограничения: изолированная среда,точный список разрешённых целей,минимальные права и подтверждение человека перед опасными действиями.

Главное правило!! - не давайте ИИ доступ,который не нужен для конкретной задачи.Отправку данных,публикацию кода,платежи,удаление и изменение файлов оставляйте на подтверждение человеку.

Если ИИ безупречно выполнил вашу команду и причинил вред- кто виноват: нейросеть,которая не поняла границ,или человек,который их не установил?