Пара исследователей из Salus Security, компании, занимающейся безопасностью блокчейн с офисами в Северной Америке, Европе и Азии, недавно опубликовала исследование, демонстрирующее таланты GPT-4, когда дело доходит до анализа и аудита смарт-контрактов.
Как оказалось, искусственный интеллект (ИИ) довольно хорошо генерирует и анализирует код, но вы не захотите использовать его в качестве аудитора безопасности.
Согласно статье:
«GPT-4 может быть полезным инструментом, помогающим при аудите смарт-контрактов, особенно при анализе кода и предоставлении подсказок об уязвимостях. Однако, учитывая ограничения в обнаружении уязвимостей, в настоящее время он не может полностью заменить профессиональные инструменты аудита и опытных аудиторов».
Исследователи Salus использовали набор данных из 35 смарт-контрактов (называемый уязвимостью Library для теста SolidiFI), который содержал в общей сложности 732 уязвимости, чтобы оценить способность ИИ обнаруживать потенциальные недостатки безопасности среди семи распространенных типов уязвимостей.
По теме: Потеря криптовалюты в результате ограблений BNB Chain сократилась на 85% в 2023 году: отчет
Согласно их выводам, ChatGPT хорошо обнаруживает настоящие позитивы — реальные уязвимости, которые стоило бы изучить за пределами среды тестирования. Точность испытаний достигла более 80%.
Однако у него есть очевидная проблема с генерацией ложноотрицательных результатов. Это выражается в статистике, называемой «коэффициент запоминания», и в экспериментах команды Salus уровень запоминания GPT-4 составлял всего 11% (чем выше, тем лучше).
Это указывает, как заключили исследователи, на то, что «возможности обнаружения уязвимостей GPT-4 отсутствуют, при этом высочайшая точность составляет всего 33%». Таким образом, исследователи рекомендуют использовать специальные инструменты аудита и старые добрые человеческие ноу-хау для аудита смарт-контрактов до тех пор, пока системы искусственного интеллекта, такие как GPT-4, не будут введены в эксплуатацию.
«Подводя итог, GPT-4 может быть полезным инструментом для помощи в аудите смарт-контрактов, особенно при анализе кода и предоставлении подсказок об уязвимостях…. При использовании GPT-4 его следует сочетать с другими методами и инструментами аудита, чтобы повысить общую точность и эффективность аудита».
