"На конференции по безопасности Black Hat в Лас-Вегасе сотрудники OpenAI представили новые подробности недавнего громкого инцидента с несанкционированным взломом ИИ, который вызвал настоящий переполох в индустрии искусственного интеллекта и кибербезопасности.
...
В своем выступлении на конференции в среду Эрик Уоллес, работающий в OpenAI в области исследований согласования и безопасности, и Майкл Далтон, занимающийся вопросами безопасности и инфраструктуры, представили более подробную хронологию развития инцидента, кратко рассказали о внутренних мерах компании в связи с произошедшим и выступили с серьезным предупреждением о более широких последствиях этого инцидента для специалистов по кибербезопасности.
...
«В этом инциденте участвует группа агентов, которые работают вместе, находят уязвимости, делятся ими друг с другом, перемещаются по нашим и внешним системам, и делают это в течение нескольких дней и недель», — сказал Уоллес переполненному залу на открытии выступления.
...
Уоллес и Далтон описали невероятно масштабную активность хакеров-преступников в течение многих дней, которая осталась незамеченной в инфраструктуре OpenAI. Помимо использования новой уязвимости для получения доступа к открытому интернету, хакерская атака в середине июля и взлом Hugging Face произошли, по словам Уоллеса и Далтона, на оживленном, дружественном форуме, где множество агентов общались и, по сути, переписывались в течение длительного времени исключительно внутри внутреннего менеджера пакетов OpenAI (программного сервиса, управляющего установкой и обслуживанием другого программного обеспечения). В конечном итоге, форум содержал сотни тысяч сообщений.
...
Уоллес продолжил: «Как только один агент находит эти уязвимости в течение определенного времени, он может поделиться ими на форуме с другими агентами. Таким образом, как только одна модель находит способ открыть доступ к чему-то, к чему она не должна иметь доступа, она может оставить эту же уязвимость открытой для других агентов. Со временем это приводит к своего рода взрывному росту коммуникации и обмена информацией между моделями, когда они начинают общаться друг с другом, понимают, что другие агенты координируют свои действия, и начинают сотрудничать и делегировать задачи друг другу для достижения целей»."
Прямо Скайнет какой-то.