TGViewer
llm security и каланы llm security и каланы @llmsecurity · 2.08K subscribers
Post #103 719
Исследователи расчехляют университетские кредитки и засовывают оба датасета в GPT-{3.5, 4}, Gemini Pro, Claude-2 и LLaMA-2 и просят LLM предсказать, что там было написано. Они оценивают стандартную Accuracy, а для ViTC-L определяют AMR (Average Match Ratio) как долю верно угаданных символов (eсли вы когда-то занимались OCR, то это по сути единица минус CER). Выясняется, что LLM такую задачу решать не умеют, что видно по достаточно жалким метрикам.
More from @llmsecurity
  1. Sep 25, 2026🦦 Каланам нужна наша лапка помощи Каланы — одни из самых обаятельных обитателей морей. Он…
  2. Sep 25, 2026Напомню, что у нас не только llm security, но и каланы
  3. Sep 14, 2026Post #719
  4. Sep 6, 2026Post #718
  5. Sep 4, 2026Discovery of a new OpenAI agent message board Sydney Von Arx et al., 2026 Сайт Исследовате…
  6. Aug 22, 2026Жадность вайбера погубит, или как получить малвару за ваши же деньги Часть 2: Троянский пр…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →