OpenZeppelin бьет тревогу: EVMbench от OpenAI на критическом разборе 🔍

OpenZeppelin погрузилась в дебри новейшего EVMbench от OpenAI и не удержалась от скепсиса: всплыли методологические ошибки и «мусорные» данные.

Союз ChatGPT с инвестфондом Paradigm породил EVMbench для теста ИИ-агентов на уязвимостях в смарт-контрактах. Вроде бы — отличное начинание, но OpenZeppelin провела собственный аудит.

🔧 Ключевые осечки

Данные для обучения ИИ впитали «загрязнение»: в базе 120 уязвимых моментов, которых не должно быть в этом учебнике.

Печально, что модели стискают знания от августа 2025 года, и эта инфа могла попасть в тренинг. — Что с чистотой эксперимента? — спрашивается…

Минимум четыре уязвимости, помеченные как «высокого риска», оказываются фальшивыми. Но ИИ щедро награждали за "обнаружение".

> «Это не вкусовые разногласия о серьёзности. Это случаи, где предполагаемая угроза не сработала», — объясняют эксперты.