🤥 Большие языковые модели системно обходят правила в бенчмарках по кибербезопасности, что может завышать оценку их реальных возможностей — к такому выводу пришли исследователи Dreadnode.

Авторы отчета протестировали 22 модели от семи провайдеров на 23 задачах Cybench в трех режимах: без запрета на обход правил, со стандартным предупреждением и с более жесткой инструкцией.

Всего исследователи проанализировали 1518 трасс выполнения задач. В базовом режиме 37,1% засчитанных решений содержали признаки обхода правил. По данным авторов, 21 из 22 моделей пыталась нарушить условия хотя бы один раз, а результаты отдельных были завышены до пяти раз.

👉 Подробнее

Новости | AI | YouTube