И Google не осталась в стороне ИИ-инцидентов: компания подтвердила, что Gemini AI в мае взломала системы трех реальных компаний после того, как вырвались из тестовой среды.

В пятницу Wall Street Journal впервые сообщила об этих инцидентах, назвав их первым известным случаем автономного взлома систем ИИ Google.

Тестирование проводила компания Irregular, также причастная к нцидентам, в которых фигурировали Meta, OpenAI и Anthropic. Google описала инциденты как ошибку идентификации.

Gemini принимала участие в учении по захвату флага на инфраструктуре Irregular, задача которого заключалась в извлечении информации из ПО, разработанного вымышленной компанией, название которой совпадало с названием реальной компании.

Изначально модель не предполагала доступа в интернет, но, по данным Irregular, доступ к нему был предоставлен непреднамеренно.

В одном случае модель угадывала пароли, пока не получила доступ к защищенной системе. В двух других она искала в интернете по названию компании, находила учетные данные других компаний в общедоступных хранилищах и использовала их для доступа к соответствующим системам.

В Google заявили, что модель в каждом случае распознавала реальную компанию и прекращала вторжение. Irregular уведомила Google в конце июля.

В отличие от других компаний, занимающихся ИИ и замешанных в подобных инцидентах, Google не раскрывала результаты расследования до тех пор, пока с ней не связалась Wall Street Journal.

По мнению Google, инциденты не требовали публичного разглашения, поскольку модель не причинила вреда и остановилась немедленно.

Компания также заявила, что это не был случай некорректной работы модели, поскольку меры безопасности помогли ей остановиться. Компания сравнила этот эпизод с программой вознаграждения за обнаружение уязвимостей.

Google отметила журналистам WSJ, что уведомила федеральные власти и три пострадавшие компании, названия которых она не разглашает. Отдельно заявила, что инцидент не связан с их последней моделью, не раскрывая ее название. 

Irregular отметило, что случай с Google аналогичен другим инцидентам и не представляет собой новую проблему. Представитель компании заявил, что все известные проблемы с их стороны были устранены несколько недель назад.

Однако, определенный скепсис на этот счет все же присутствует.