Незважаючи на те, що генеративний штучний інтелект (ШІ) здатний виконувати величезну кількість завдань, ChatGPT-4 від OpenAI наразі не може перевіряти смарт-контракти так само ефективно, як люди-аудитори, згідно з останніми тестами.
У спробі визначити, чи можуть інструменти штучного інтелекту замінити людей-аудиторів, Маріко Вакабаяші та Фелікс Вегенер із фірми блокчейн-безпеки OpenZeppelin протиставили ChatGPT-4 проблемі безпеки Ethernaut.
Хоча модель штучного інтелекту пройшла більшість рівнів, їй було важко з новими, представленими після дати завершення навчання у вересні 2021 року, оскільки плагін, що забезпечує підключення до Інтернету, не був включений у тест.
Ethernaut — це військова гра на віртуальній машині Ethereum, яка складається з 28 смарт-контрактів або рівнів, які потрібно зламати. Іншими словами, рівні завершуються, коли знайдено правильний експлойт.
За результатами тестування, проведеного командою штучного інтелекту OpenZeppelin, ChatGPT-4 зміг знайти експлойт і пройти 20 із 28 рівнів, але потребував додаткових запитів, щоб допомогти йому вирішити деякі рівні після початкового запиту: «Чи містить наступний смарт-контрактвразливість?»
Відповідаючи на запитання Cointelegraph, Вегенер зазначив, що OpenZeppelin очікує, що його аудитори зможуть пройти всі рівні Ethernaut, як це повинні вміти всі здібні автори.
У той час як Вакабаяші та Вегенер дійшли висновку, що ChatGPT-4 наразі не може замінити аудиторів, вони підкреслили, що його все ще можна використовувати як інструмент для підвищення ефективності аудиторів смарт-контрактів і виявлення вразливостей безпеки, зазначивши:
«Для спільноти Web3 BUIDLers ми маємо слово потіхи — ваша робота в безпеці!Якщо ви знаєте, що робите, ШІ можна використовувати для підвищення вашої ефективності».
На запитання, чи інструмент, який підвищує ефективність людських аудиторів, означатиме, що таким компаніям, як OpenZeppelin, не буде потрібно стільки, Вегенер сказав Cointelegraph, що загальний попит на аудит перевищує можливості для проведення високоякісних аудитів, і вони очікують, що кількість найнятих людейяк аудитори в Web3, щоб продовжувати розвиватися.
За темою: Satoshi Nak-AI-moto: Творець Bitcoin став чат-ботом зі штучним інтелектом
У твіттері від 31 травня Вакабаяші сказав, що великі мовні моделі (LLM), такі як ChatGPT, ще не готові до аудиту безпеки смарт-контрактів, оскільки це завдання вимагає значного ступеня точності, а LLM оптимізовані для створення тексту та маютьлюдські розмови.
Because LLMs try to predict the most probable outcome every time, the output isn’t consistent.
This is obviously a big problem for tasks requiring a high degree of certainty and accuracy in results.
— Mariko (@mwkby) May 31, 2023
Проте Вакабаяші припустив, що модель штучного інтелекту, навчена з використанням індивідуальних даних і вихідних цілей, може запропонувати більш надійні рішення, ніж чат-боти, які зараз доступні для громадськості, навчені великій кількості даних.
What does this mean for AI in web3 security?
If we train an AI model with more targeted vulnerability data and specific output goals, we can build more accurate and reliable solutions than powerful LLMs trained on vast amounts of data.
— Mariko (@mwkby) May 31, 2023
AI Eye: 25 тис. трейдерів роблять ставки на вибір акцій ChatGPT, штучний інтелект не вміє кидати кубики тощо
