WSJ: Gemini взломал три компании — Google раскрыл это только спустя несколько месяцев

Когда этим летом OpenAI, Anthropic и Meta (признана экстремистской и запрещена в РФ) признали, что их модели взламывали внешние компании, возник вопрос: а что насчёт Google?

Теперь у нас есть ответ. В мае модель Gemini от Google взломала три компании в ходе проверки кибербезопасности, которую проводила тестовая платформа Irregular, та же компания, которая выявляла взломы, совершённые другими ИИ-лабораториями.

Irregular уведомила Google о взломах ещё в мае, однако компания раскрыла информацию только после того, как журналисты WSJ обратились к ней. Google объяснил задержку тем, что модель во всех случаях сама прекращала действия, осознав, что взломала реальную компанию.

Поэтому Google не считает произошедшее проявлением так называемого рассогласования модели (model misalignment), ситуации, когда ИИ действует вопреки намерениям человека. Компания сравнила поведение Gemini с действиями этичных хакеров, которые ищут уязвимости в рамках bug bounty.

При этом вопрос о том, когда и как следует раскрывать информацию о неожиданном поведении ИИ, становится всё более актуальным. Компании пока только формируют подходы к публикации подобных инцидентов. Руководитель направления alignment в OpenAI Кай Чен отмечает, что результат исследования не обязательно должен привести к ущербу или выявить масштабную закономерность, чтобы о нём стоило рассказать.

Исследователи, регуляторы и всё больше обычных пользователей обеспокоены рисками, которые может представлять вышедший из-под контроля ИИ. Поэтому внимание к подобным инцидентам и требованиям к их раскрытию, вероятно, будет расти.

🎩https://perforum.io/news/t/bugmageddon-ai