LLM Benchmark in CyberSec

Вчера вышел релиз открытой модели от OpenAI, а сегодня мы уже протестировали 120B версию на внутреннем бенчмарке одной из задач ИБ - обнаружение вредоносного кода.

Хочется отметить, что модель стала лидером в категории тяжелых open-source моделей.

Более того, по метрике вызовов, релевантных вредоносной активности GPT-oss 120B и вовсе стала самой точной из протестированных LLM, обойдя закрытую модель Claude Sonnet 4!

Если есть желание узнать больше о бенчмарке и истории его создания, приходите на конференцию OFFZONE 2025 21 августа в 13:20, зал ai․zone.

UPD: случился фейкньюс, модель 120B, пост выше поправил

---

@notesdotml