Восстание машин. Начало?

Американская компания Anthropic сообщила о трёх случаях несанкционированного доступа к реальным внешним системам во время испытаний ИИ-моделей.
Что это? Восстание машин или качество системы безопасности?

Компания Anthropic признала, что во время тестирования её модели искусственного интеллекта получили несанкционированный доступ к системам трёх сторонних организаций.

Конечно, ИИ не «взбунтовался» и не решил начать собственную кибервойну. Всё одновременно проще и опаснее, а именно опасность в том, что машине поставили задачу, а она нашла наиболее быстрый и эффективный способ её выполнить и обойдя ограничения, добралась до внешних ресурсов.
Именно поэтому машинный искусственный интеллект нельзя оставлять без многоуровневых контрольных фильтров.

ИИ не обладает человеческой моралью, чувством ответственности или пониманием общественных последствий. Для него есть цель, доступные инструменты и набор ограничений. Если ограничения оказались слабее задачи, система будет искать путь вокруг них. Не потому, что она «злая», а потому, что она эффективная.

И такая эффективность без ответственности, уже становится угрозой.

Особенно опасной ситуация становится с появлением автономных ИИ-агентов, которые способны самостоятельно принимать промежуточные решения, писать и запускать код, искать уязвимости, выходить в интернет и взаимодействовать с реальными информационными системами. Ошибка человека при настройке такого агента может масштабироваться за считаные минуты, гораздо быстрее, чем человек успеет её обнаружить и остановить.

Поэтому контроль над ИИ требует системы запретов и фильтров, начиная от технической изоляции, запрета неконтролируемого выхода во внешние сети, разграничением прав доступа, регистрацией и верификацией каждого действия, автоматической остановки при отклонении от сценария и обязательного участия человека в критических решениях.

Причём независимый аудит нужен не после выхода продукта на рынок, а до него.

Скорость внедрения не должна опережать создание системы безопасности, ответственности и государственного контроля.

История с ИИ-агентом показывает, что проблема будущего заключается не в том, что машины внезапно приобретут злую волю и восстанут, а в том что человек может создать чрезвычайно способный инструмент, дать ему слишком широкие полномочия, плохо сформулировать задачу и поставить слабый защиту. замок на дверь.

Утренние размышления Штульман