Двоє дослідників із Salus Security, компанії з блокчейн-безпеки з офісами в Північній Америці, Європі та Азії, нещодавно опублікували дослідження, яке демонструє таланти GPT-4, коли справа доходить до аналізу та аудиту смарт-контрактів.
Як виявилося, штучний інтелект (ШІ) досить добре справляється зі створенням і аналізом коду, але ви не захочете використовувати його як аудитора безпеки.
За папером:
«GPT-4 може бути корисним інструментом для допомоги в аудиті смарт-контрактів, особливо в аналізі коду та наданні підказок про вразливості. Однак, враховуючи його обмеження у виявленні вразливостей, наразі він не може повністю замінити професійні інструменти аудиту та досвідчених аудиторів».
Дослідники Salus використовували набір даних із 35 смарт-контрактів (називається Library тесту вразливості SolidiFI), який містив загалом 732 уразливості, щоб оцінити здатність ШІ виявляти потенційні слабкі місця безпеки серед семи поширених типів уразливостей.
За темою: криптовалюта, втрачена в BNB Chain, впала на 85% у 2023 році: звіт
Згідно з їхніми висновками, ChatGPT добре справляється з виявленням справжніх позитивних моментів — реальних уразливостей, які, поза межами середовища тестування, варто було б дослідити. Він досяг понад 80% точності під час тестування.
Однак у нього є очевидна проблема з генеруванням помилкових негативів. Це виражається через статистику під назвою «швидкість запам’ятовування», і в експериментах команди Salus рівень запам’ятовування GPT-4 був лише 11% (чим вище, тим краще).
Як дійшли висновку дослідники, це вказує на те, що «можливості виявлення вразливостей GPT-4 відсутні, причому найвища точність становить лише 33%». Таким чином, дослідники рекомендують використовувати спеціалізовані інструменти аудиту та старі добрі людські ноу-хау для аудиту смарт-контрактів, доки системи штучного інтелекту, такі як GPT-4, не будуть доведені до швидкості.
«Підсумовуючи, GPT-4 може бути корисним інструментом для допомоги в аудиті смарт-контрактів, особливо в аналізі коду та наданні підказок про вразливості…. Використовуючи GPT-4, його слід поєднувати з іншими методами та інструментами аудиту для підвищення загальної точності та ефективності аудиту».
