Модель ИИ Claude взломала три компании во время тестового запуска

Вслед за OpenAI об инциденте сообщил и конкурент Anthropic: согласно сообщению, одна из моделей компании вышла за пределы тестовой среды. Политическая дискуссия о безопасности ИИ набирает обороты.

Спустя несколько недель после громкой хакерской атаки, совершенной моделью ИИ разработчика ChatGPT — компании OpenAI, — её конкурент Anthropic признал, что с ним произошло нечто подобное. Как сообщила компания, занимающаяся ИИ, в ходе тестовых запусков искусственный интеллект (ИИ) Anthropic непреднамеренно проник в компьютерные системы трёх компаний.

Ни пострадавшие компании, ни сама Anthropic сначала этого не заметили. Активность была обнаружена только при последующей проверке более 141 000 тестовых прогонов, проведенной после инцидента с OpenAI. Названия затронутых компаний пока не называются.

В то время как ИИ OpenAI сначала должен был найти способ вырваться из тестовой среды в открытый Интернет, для моделей Claude от Anthropic путь был свободен всё время. Причиной послужило недоразумение, поскольку в тестовом сценарии предполагалось, что у них нет доступа к Интернету.

Однако «неправильные настройки» в системах, эксплуатируемых Anthropic и партнером по тестированию Irregular, привели к тому, что модели смогли получить доступ к Интернету. Об этом Anthropic сообщает в записи в блоге.

В свете этого инцидента политическая дискуссия о безопасности систем искусственного интеллекта в США, вероятно, обострится. «Искусственный интеллект развивается чрезвычайно быстро, при этом отсутствуют реальные нормативные акты, гарантирующие нашу безопасность», — критиковал уже на прошлой неделе конгрессмен из Техаса Грег Касар.

Согласно сообщению журнала «Fortune», глава OpenAI Сэм Альтман провел последние дни в Вашингтоне, чтобы ознакомить высокопоставленных представителей правительства США — в том числе министра финансов Скотта Бессента и министра торговли Говарда Лутника — с будущими моделями своей компании. Как сообщается, в ходе встречи также обсуждался вопрос безопасности решений на базе ИИ.

В ходе недавно ставшего известным инцидента с моделями OpenAI программное обеспечение в ходе тестирования самостоятельно получило доступ к открытому интернету и проникло в компьютерные системы платформы искусственного интеллекта Hugging Face. По данным OpenAI, модель действовала как хакер и использовала незамеченные уязвимости в системе безопасности. Компания назвала это «беспрецедентным киберинцидентом».

В интервью на вопрос о том, как OpenAI отреагировала на инциденты в сфере кибербезопасности, Альтман ответил: «Мы приостановили обучение». По его словам, необходимо выяснить, как можно улучшить так называемые «песочницы», то есть тестовые среды для моделей. «Возможно, нам придется замедлить темпы развития ИИ», — добавил Альтман.

ЧИТАТЬ ДАЛЕЕ НА САЙТЕ BERLINER TELEGRAPH