OpenZeppelin сообщает, что набор данных EVMbench содержит утечки обучающих данных

Компания OpenZeppelin, занимающаяся безопасностью блокчейн, заявляет, что обнаружила методологические недостатки и загрязнение данных после аудита нового эталона безопасности блокчейна искусственного интеллекта OpenAI, EVMbench.

EVMbench был запущен в партнерстве с криптовалютной инвестиционной компанией Paradigm в середине февраля. Он был создан для оценки того, насколько хорошо различные модели искусственного интеллекта могут выявлять, исправлять и использовать уязвимости смарт-контрактов.

В сообщении X в понедельник OpenZeppelin заявила, что приветствует эту инициативу, но недавно решила подвергнуть EVMbench «той же проверке», которую она применяет ко всем протоколам, которые она помогает защитить, включая таких тяжеловесов децентрализованных финансов Aave, Lido и Uniswap.

В ходе аудита OpenZeppelin заявила, что обнаружила две ключевые проблемы: загрязнение обучающих данных и проблемы классификации нескольких уязвимостей высокой степени опасности.

«Мы просмотрели набор данных и выявили методологические недостатки и неверные классификации уязвимостей, включая как минимум четыре проблемы, отмеченные высокой степенью серьезности, которые невозможно использовать на практике», — заявили в OpenZeppelin.​

В выпуске EVMbench была проведена оценка того, насколько хорошо агенты ИИ теоретически могут использовать уязвимости смарт-контрактов. Возглавил список Claude Open 4.6 от Anthropic, за ним следуют OC-GPT-5.2 от OpenAI и Gemini 3 Pro от Google.

Тестирование EVMbench, возможно, потребует пересмотра

Рассматривая первую проблему заражения данных, OpenZeppelin заявила, что наиболее важной возможностью «безопасности ИИ является обнаружение новых уязвимостей в коде, которые модель никогда раньше не встречала».

Однако во время тестирования агентов ИИ в EVMbench OpenZeppelin заявила, что все агенты ИИ, набравшие наивысшие баллы, «вероятно, подвергались отчетам об уязвимостях теста во время предварительного обучения».

Тестирование EVMbench показало, что агентам ИИ был отключен доступ в Интернет, а это означает, что они не могли просто искать решения проблем. Однако эталонный тест был основан на выявленных уязвимостях, полученных в результате 120 проверок, проведенных в период с 2024 по середину 2025 года, при этом сроки обучения этих агентов обычно приходится на середину 2025 года.

Таким образом, существовал риск того, что у агентов ИИ уже были ответы на все проблемы, хранящиеся в их памяти.

“Хотя это не обязательно позволяет модели немедленно идентифицировать проблему, это снижает качество теста. Ограниченный размер набора данных еще больше сужает поверхность оценки, делая проблемы загрязнения более значительными”, – сказал OpenZeppelin.

По теме: Антиутопия Energym AI становится вирусной, поскольку криптовалютные проекты рекламируют агенты искусственного интеллекта, принадлежащие пользователям

Наконец, OpenZeppelin заявила, что в наборе данных EVMbench были обнаружены некоторые существенные фактические ошибки, утверждая, что несколько «уязвимостей высокой степени серьезности» недействительны.

OpenZeppelin заявила, что оценила как минимум четыре уязвимости, которым EVMbench присвоил класс высокого риска, но на самом деле они не работают. Однако EVMbench правильно оценил агентов ИИ за обнаружение этих якобы ложных уязвимостей.

«Это не субъективные разногласия по поводу серьезности, это выводы о том, что описанный эксплойт не работает».

В конечном итоге OpenZeppelin подтвердил, что ИИ окажет значительное влияние на повышение безопасности блокчейна, но подчеркнул важность правильного применения этой технологии и ее тестирования, чтобы максимизировать ее потенциал.

“Вопрос не в том, изменит ли ИИ безопасность смарт-контрактов, а в том, соответствуют ли данные и тесты, которые мы используем для создания и оценки этих инструментов, тем же стандартам, что и контракты, которые они призваны защищать”.