В то время как генеративный искусственный интеллект (ИИ) способен выполнять широкий спектр задач, ChatGPT-4 OpenAI в настоящее время не может проверять смарт-контракты так же эффективно, как люди-аудиторы, согласно недавнему тестированию.
В попытке определить, могут ли инструменты ИИ заменить людей-аудиторов, Марико Вакабаяши и Феликс Вегенер из компании OpenZeppelin, занимающейся безопасностью блокчейна, сравнили ChatGPT-4 с проблемой безопасности Ethernaut.
Хотя модель ИИ прошла большинство уровней, она боролась с более новыми, представленными после даты окончания обучения в сентябре 2021 года, поскольку плагин, обеспечивающий подключение к Интернету, не был включен в тест.
Ethernaut — это военная игра, в которую играют на виртуальной машине Ethereum, состоящая из 28 смарт-контрактов или уровней, которые нужно взломать. Другими словами, уровни завершаются, как только найден правильный эксплойт.
Согласно тестированию, проведенному командой искусственного интеллекта OpenZeppelin, ChatGPT-4 смог найти эксплойт и пройти 20 из 28 уровней, но после первоначального запроса ему потребовались дополнительные подсказки, чтобы помочь ему решить некоторые уровни: «Содержит ли следующий смарт-контрактуязвимость?»
Отвечая на вопросы Cointelegraph, Вегенер отметил, что OpenZeppelin ожидает, что его аудиторы смогут пройти все уровни Ethernaut, как и все способные авторы.
Хотя Вакабаяши и Вегенер пришли к выводу, что ChatGPT-4 в настоящее время не может заменить людей-аудиторов, они подчеркнули, что его все еще можно использовать в качестве инструмента для повышения эффективности аудиторов смарт-контрактов и обнаружения уязвимостей безопасности, отметив:
«Сообществу Web3 BUIDLers у нас есть слово утешения — ваша работа в безопасности!Если вы знаете, что делаете, ИИ можно использовать для повышения вашей эффективности».
На вопрос, будет ли инструмент, повышающий эффективность аудиторов-людей, означать, что таким фирмам, как OpenZeppelin, не понадобится столько людей, Вегенер сказал Cointelegraph, что общий спрос на аудиты превышает возможности для обеспечения высококачественных аудитов, и они ожидают, что количество нанятых людейв качестве аудиторов в Web3, чтобы продолжать расти.
Связанный: Сатоши Нак-Ай-мото: создатель Биткоин стал чат-ботом с искусственным интеллектом
В ветке Twitter от 31 мая Вакабаяши сказал, что большие языковые модели (LLM), такие как ChatGPT, еще не готовы для аудита безопасности смарт-контрактов, поскольку это задача, требующая значительной степени точности, а LLM оптимизированы для генерации текста и имеютчеловеческие разговоры.
Because LLMs try to predict the most probable outcome every time, the output isn’t consistent.
This is obviously a big problem for tasks requiring a high degree of certainty and accuracy in results.
— Mariko (@mwkby) May 31, 2023
Однако Вакабаяши предположил, что модель ИИ, обученная с использованием адаптированных данных и выходных целей, может обеспечить более надежные решения, чем общедоступные чат-боты, обученные на больших объемах данных.
What does this mean for AI in web3 security?
If we train an AI model with more targeted vulnerability data and specific output goals, we can build more accurate and reliable solutions than powerful LLMs trained on vast amounts of data.
— Mariko (@mwkby) May 31, 2023
AI Eye: 25 000 трейдеров делают ставки на выбор акций ChatGPT, ИИ отстой в бросках костей и многое другое
