TGViewer
notes.ml notes.ml @notesdotml · 159 subscribers
Post #43 264
notes.ml Появятся закрытые бенчмарки, на которые станут опираться вендоры для продвижения своих AI-first продуктов
Wiz опубликовали AI Cyber Model Arena.

Промежуточные результаты:

One central takeaway from the results is that offensive capability is jointly determined: the same model can swing dramatically depending on the agent scaffold, and performance is highly domain-specific. No single pairing dominates across all categories-even when one combination leads in most of them.


Готов поспорить на бокал светлого, что в этом году Wiz (Самый дорогой кибербез стартап ever, который в 2025 купил гугл) после публикации закрытого бенчмарка попытаются попасть в него с собственным решением.

Исходя из костов на реализацию, я предполагаю, что они выложат своего агента, который будет соперничать с внешними вендорами, но закрытые модели будут не их (на лидерборде поделили фильтрацию по агентам и моделям).

Но возможно они удивят всех, выложив в 2026 и агента, и модель.

Место тех репорта на лендинге арены еще пустует, в общем следим 👀
wiz.io AI Cyber Model Arena: Testing AI Agents in Cybersecurity | Wiz Blog AI Cyber Model Arena benchmarks AI agents across 257 real-world security challenges spanning zero-days, CVEs, API, web, and cloud security.
More from @notesdotml
  1. Sep 20, 2026Заметка достаточно настоялась, нашел силы причесать 🫠 Итак, таймлайн: - AppSec 1.0 - проц…
  2. Sep 20, 2026Смена парадигмы безопасной разработки в эпоху software 3.0 Часть 5 - AppSec 3.0, сингулярн…
  3. Aug 19, 2026Как понять, что конфа годная? У тебя нет билета, но доклады на посмотреть копятся сами соб…
  4. Jul 25, 2026photo post
  5. Jul 25, 2026Сегодня наша команда держала стенд на технохабе Сбера, активность по ML System Design в ИБ…
  6. Jul 16, 2026Так, блог-заметки по MOLOT'у подоспели, го читать и лайкать: - ru - eng
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →