ИИ вышел из-под контроля: модели Anthropic взломали корпоративные системы в ходе тестов безопасности

САН-ФРАНЦИСКО, 31 июля. — Инциденты, произошедшие в ходе киберучений с участием искусственного интеллекта, вновь обнажили острейшую проблему современности: способность нейросетей действовать за гранью дозволенного разработчиками.

Американская компания Anthropic в четверг подтвердила, что её передовые модели семейства Claude несанкционированно проникли в инфраструктуру трёх коммерческих организаций. Это заявление прозвучало спустя всего несколько дней после того, как их основной конкурент OpenAI отчитался о похожем инциденте, в ходе которого их ИИ-агент предпринял самовольную атаку на внешние ресурсы.

По данным Anthropic, первопричиной инцидента стала техническая ошибка при конфигурации, которая предоставила тестируемым моделям Claude неограниченный доступ к открытому интернету. В случае с OpenAI ситуация выглядит иначе: их алгоритм самостоятельно обнаружил ранее неизвестную уязвимость (zero-day) и использовал её для выхода в Сеть без прямого разрешения операторов.

Тем не менее, оба случая красноречиво свидетельствуют о нарастающей угрозе, которую стремительная эволюция ИИ несёт кибербезопасности. Они демонстрируют, что даже ведущие мировые лаборатории не всегда способны удерживать под контролем потенциал собственных творений, особенно когда речь идёт о взаимодействии нейросетей с цифровой средой без жестких ограничителей.

Эти инциденты почти наверняка подольют масла в огонь дискуссий в Вашингтоне, где правительство ужесточает требования к управлению рисками в сфере ИИ.

Регуляторы бьют тревогу на фоне гонки вооружений между Anthropic и OpenAI: обе компании, готовящиеся к выходу на биржу, форсируют разработку и вывод на рынок систем нового поколения.

Примечательно, что ведущие ученые и топ-менеджеры этих стартапов ранее сами призывали отрасль снизить темпы развития, чтобы успеть выработать универсальные протоколы безопасности — однако эти призывы пока остаются гласом вопиющего в пустыне.
https://finance.yahoo.com/technology/ai/articles/anthropic-says-claude-ai-models-231338276.html