TGViewer
Machine learning Interview Machine learning Interview @machinelearning_interview · 30.3K subscribers
Post #2230 4.77K
🎯 Новый вектор атак на ИИ — скрытые промпты в картинках

Trail of Bits показали, что хакеры могут прятать инструкции в изображениях. Пока картинка оригинального размера — всё чисто.

Но как только сервис (например, Gemini CLI или **Vertex AI Studio**) автоматически сжимает её, проявляется скрытый текст.

📌 Что это значит:
- ИИ «видит» спрятанный промпт и исполняет его, думая, что это команда пользователя.
- Так можно обойти фильтры и заставить модель делать то, что задумал атакующий.

🛠 Как защититься:
- Инструмент Anamorpher (open-source) для генерации и проверки таких атак.
- Защита: многоуровневая проверка картинок и отслеживание артефактов при масштабировании.

⚠️ Итог: даже безобидная картинка может оказаться «троянским конем» для ИИ-систем.

🔗Github: https://github.com/trailofbits/anamorpher
🔗 Подробнее: blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/

#AI #Security #PromptInjection #TrailOfBits
  • 🔥 22
  • 👍 9
  • ❤ 5
More from @machinelearning_interview
  1. Sep 29, 2026«В 2026 году мировой спрос составляет около 31,7 млрд токенов каждые 10 секунд. К 2030 год…
  2. Sep 29, 2026Ждемс
  3. Sep 28, 2026📘 454 страницы по теории графов - от базовых понятий до серьёзных теорем На arXiv доступе…
  4. Sep 27, 2026🚨 OpenAI-агенты более 16 000 раз атаковали сайт ООН запросами ради обычных публичных данн…
  5. Sep 26, 2026🚀 LongCat-2.5-Preview: 1.6 трлн параметров и контекст на 1 млн токенов Вышла LongCat-2.5-…
  6. Sep 25, 2026Сингулярность
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →