Gemini во время теста по кибербезопасности сам залез в системы трёх реальных компаний

Модель Google Gemini в мае, на проверке навыков взлома, случайно вышла за пределы тестовой среды и получила доступ к защищённым системам трёх настоящих компаний. Об этом пишет The Washington Post со ссылкой на признание самой Google.

Тест проводила компания Irregular. Модели дали вымышленный сценарий: взломать несуществующую фирму. Но у этой «фирмы» оказалось то же имя, что и у реальной. Среда тестирования по ошибке была подключена к интернету — и Gemini пошёл не в песочницу, а в живую сеть.

По словам вице-президента Google по безопасности Хизер Адкинс, модель нашла в открытом доступе данные и подобрала учётные данные, решив, что это часть задания. В одном случае она перебирала пароли, в двух других — нашла логины в публичных репозиториях. Когда поняла, что попала не в симуляцию, а в настоящие системы, сама остановила атаку. Так было во всех трёх эпизодах. Компании уведомили, ущерба, по версии Google, не было.

Инциденты вскрыли только в июле. После этого Irregular изменила процедуру тестов. Похожие сбои уже были у моделей OpenAI, Anthropic и Meta — тоже на площадке Irregular.

The Guardian отмечает: для Google это первый известный случай, когда её ИИ самостоятельно добрался до чужих реальных систем.