А помните (конечно же нет, что за вопрос...) я вам тут рассказывал, что все кто хоть как-то связан с иишкой с какого-то перепуга в конце 25го года кинулись делать анонимайзеры, но это довольно бессмысленная затея в свете угроз, которые исходят от ИИ?

Вот и ОпенаАИ тоже видимо так решили и выкинули в опенсорс (что с лицом, Mollyx?) свою модель для обнаружения и маскировки персональных данных (PII) в тексте. Напомню, что после 22 года опенаи выкладывает в опенсорс только бесполезное и что не может принести им денюжкав. Времена когда они выкладывали Whisper вспоминаем в ностальгией, плак-плак...

Так вот про угрозы. Anthropic, Институт безопасности ИИ Великобритании (AISI) и Институт Алана Тьюринга провели совместное исследование и обнаружили очередную багу в логике всех иишек.

Исследователи обнаружили, что для создания «бэкдора» (скрытой уязвимости) в модели достаточно добавить в обучающую выборку всего около 250 вредоносных документов, а учитывая что модели учат на данных из интернета, достаточно просто разместить их в сети.

И самое удивительное, что доля зараженных документов в данном случае не играет ни какой роли, даже если это будет всего 0,0000...% в общей массе атака вся равно сработает, нужно просто 250 документов и на этом всё!

Ссылки на исследования: тык, тык, тык, тык.

LawCoder