Исследователи обнаружили, что новые модели генерации изображений OpenAI и Google удаётся обмануть для создания откровенных изображений. Это значит, что фильтры безопасности всё ещё можно обойти не только прямым запросом, но и переформулировками или prompt injection — внедрением скрытых инструкций в запрос.
Проблема: встроенной модерации на уровне входа недостаточно. Для платформ и приложений, которые добавляют генерацию изображений, это репутационный и юридический риск: контент публикует продукт, а не пользователь.
Кому полезно: продуктовые команды, которые встраивают генерацию изображений, — им нужен дополнительный слой модерации и детекторы NSFW, а не только фильтры вендора.
Оговорка: детали метода и список затронутых моделей в коротком сообщении не раскрыты; независимых воспроизведений пока нет.
━━━━━━━━━━━━━
📎 Источники:
• Researchers say new OpenAI and Google image models are easily tricked into making nudes