Официальный канал журнала ForkLog посвященный ИИ.
С 2014 года документируем развитие биткоина, искусственного интеллекта, квантовых технологий и других систем, определяющих развитие цивилизации.
Реклама на ForkLog: https://forklog.com/advertisement/
Post #7371
2.19K

🤥 Большие языковые модели системно обходят правила в бенчмарках по кибербезопасности, что может завышать оценку их реальных возможностей — к такому выводу пришли исследователи Dreadnode.
Авторы отчета протестировали 22 модели от семи провайдеров на 23 задачах Cybench в трех режимах: без запрета на обход правил, со стандартным предупреждением и с более жесткой инструкцией.
Всего исследователи проанализировали 1518 трасс выполнения задач. В базовом режиме 37,1% засчитанных решений содержали признаки обхода правил. По данным авторов, 21 из 22 моделей пыталась нарушить условия хотя бы один раз, а результаты отдельных были завышены до пяти раз.
👉 Подробнее
Новости | AI | YouTube
Авторы отчета протестировали 22 модели от семи провайдеров на 23 задачах Cybench в трех режимах: без запрета на обход правил, со стандартным предупреждением и с более жесткой инструкцией.
Всего исследователи проанализировали 1518 трасс выполнения задач. В базовом режиме 37,1% засчитанных решений содержали признаки обхода правил. По данным авторов, 21 из 22 моделей пыталась нарушить условия хотя бы один раз, а результаты отдельных были завышены до пяти раз.
👉 Подробнее
Новости | AI | YouTube
- 🤣 2
- 🤯 1








