ИИ говорит «нет», а через API говорит «да». Что показал аудит 16 моделей

Компания AI or Not провела аудит 16 ведущих моделей ( OpenAI, Google, xAI, Recraft, Ideogram, Alibaba, Tencent, Baidu и др.) насколько легко создать реалистичные государственные удостоверения личности. Исследователи тестировали документы для 17 стран и 16 американских штатов, включая паспорта, водительские удостоверения и национальные удостоверения личности. Документы содержали имена, адреса, даты рождения, номера документов и другие персональные данные.

👀 Как вам результаты?
🔹 В 69 из 75 тестов исследователям удалось обойти защитные механизмы и получить синтетическое удостоверение личности. Общий показатель успешного обхода составил 92%.
🔹 Ни одна из 16 моделей не отказалась от всех запросов на создание документов.
🔹 Пять моделей создали удостоверения личности настолько высокого качества, что они могли бы обмануть человека, проверяющего документы.

Проблема даже не в том, что модели умеют рисовать паспорта, а в том как именно реализована защита:
▪️ChatGPT и Recraft v4 отказывались создавать удостоверения личности несовершеннолетних через обычный пользовательский интерфейс, но успешно создавали такие документы через API. Фактически одна и та же модель принимала противоположные решения в зависимости от способа доступа.
▪️Модели первоначально отказывались создавать документы, а потом могли выполнять те же запросы, если они были представлены как аудит безопасности, проверка KYC-процедур, оценка соответствия требованиям, исследовательская задача. Фильтрация основана на классификации поверхностных намерений, а не на категорическом отказе от определенного типа выходных данных.

❕Если определённый тип контента считается опасным, ограничения должны работать везде, где доступна модель, включая API. Тестирование только через пользовательский интерфейс создаёт ложное ощущение защищённости.

#UXWatch
————
@pattern_ai | AI GDPR Navigator