TGViewer
FastNews | Никита Пастухов FastNews | Никита Пастухов @fastnewsdev · 2.6K subscribers
Post #215 1.3K
FastNews | Никита Пастухов Если кто-то занимается разработкой агентных приложений (или просто LLM-based) и волнуется на тему безопасности, то у меня для вас есть полезный сканер от NVIDIA https://github.com/NVIDIA/garak/ Это штука неплохо находит prompt injection, system prompt leaking…
Агентный сервис с gpt-4o-mini моделью - взял ее из-за достаточно быстрого вывода и поставил на всю ночь тестироваться garak. Как же просто эти "умные штуки" сходят с ума...

Я щас нахожусь в небольшой фрустрации, т.к думал, что "пентест моделей" - это что-то сложное. А утром я просто смотрю на отчет, где 60% проб красные. Сервис поддался буквально на все возможные провокации😢

Ладно, это все равно тест дефолтного поведения. Теперь же буду изобретать механизм защиты от этого дерьма - посмотрим, насколько устойчивее получится сделать вывод
  • 😁 15
  • 🙈 3
  • 🔥 2
  • 😈 1
More from @fastnewsdev
  1. Sep 27, 2026Я уже жаловался на то, что конференции как формат изживают себя. И поэтому мне нравится, ч…
  2. Sep 22, 2026Еще недавно я вайнил, что нейронки нельзя использовать в OpenSource, т.к. они не вывозят т…
  3. Sep 20, 2026Последние 2 недели я заметил, что Opus 5 значительно отупел в Claude Code. Обычно такое сл…
  4. Sep 18, 2026С днем рождения🎉 Сегодня, ровно 3 года назад, 18 сентября 2023 года, вышла первая версия…
  5. Sep 17, 2026Забавно, что лучшую иллюстрацию OpenSource комьюнити я нашел в сериале про рестораны... См…
  6. Sep 14, 2026Я снова пропустил #digest агенсткого тулинга, потому что там все как-то тухленько. Но кое-…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →