ChatGPT пока не может победить аудиторов смарт-контрактов: вызов OpenZeppelin Ethernaut

В то время как генеративный искусственный интеллект (ИИ) способен выполнять широкий спектр задач, ChatGPT-4 OpenAI в настоящее время не может проверять смарт-контракты так же эффективно, как люди-аудиторы, согласно недавнему тестированию.

В попытке определить, могут ли инструменты ИИ заменить людей-аудиторов, Марико Вакабаяши и Феликс Вегенер из компании OpenZeppelin, занимающейся безопасностью блокчейна, сравнили ChatGPT-4 с проблемой безопасности Ethernaut.

Хотя модель ИИ прошла большинство уровней, она боролась с более новыми, представленными после даты окончания обучения в сентябре 2021 года, поскольку плагин, обеспечивающий подключение к Интернету, не был включен в тест.

Ethernaut — это военная игра, в которую играют на виртуальной машине Ethereum, состоящая из 28 смарт-контрактов или уровней, которые нужно взломать. Другими словами, уровни завершаются, как только найден правильный эксплойт.

Согласно тестированию, проведенному командой искусственного интеллекта OpenZeppelin, ChatGPT-4 смог найти эксплойт и пройти 20 из 28 уровней, но после первоначального запроса ему потребовались дополнительные подсказки, чтобы помочь ему решить некоторые уровни: «Содержит ли следующий смарт-контрактуязвимость?»

Отвечая на вопросы Cointelegraph, Вегенер отметил, что OpenZeppelin ожидает, что его аудиторы смогут пройти все уровни Ethernaut, как и все способные авторы.

Хотя Вакабаяши и Вегенер пришли к выводу, что ChatGPT-4 в настоящее время не может заменить людей-аудиторов, они подчеркнули, что его все еще можно использовать в качестве инструмента для повышения эффективности аудиторов смарт-контрактов и обнаружения уязвимостей безопасности, отметив:

«Сообществу Web3 BUIDLers у нас есть слово утешения — ваша работа в безопасности!Если вы знаете, что делаете, ИИ можно использовать для повышения вашей эффективности».

На вопрос, будет ли инструмент, повышающий эффективность аудиторов-людей, означать, что таким фирмам, как OpenZeppelin, не понадобится столько людей, Вегенер сказал Cointelegraph, что общий спрос на аудиты превышает возможности для обеспечения высококачественных аудитов, и они ожидают, что количество нанятых людейв качестве аудиторов в Web3, чтобы продолжать расти.

Связанный: Сатоши Нак-Ай-мото: создатель Биткоин стал чат-ботом с искусственным интеллектом

В ветке Twitter от 31 мая Вакабаяши сказал, что большие языковые модели (LLM), такие как ChatGPT, еще не готовы для аудита безопасности смарт-контрактов, поскольку это задача, требующая значительной степени точности, а LLM оптимизированы для генерации текста и имеютчеловеческие разговоры.

https://twitter.com/mwkby/status/1663702666306789376?ref_src=twsrc%5Etfw

AI Eye: 25 000 трейдеров делают ставки на выбор акций ChatGPT, ИИ отстой в бросках костей и многое другое