GPT:火爆出圈的最强 AI GPT 是否可用于合约安全审计？_区块链

近期ChatGPT爆火，其对传统文字工作的效率提高及总结能力让使用者惊艳。紧随其后CodeGPT这样基于GPT的插件出现，也充分体现了其对代码编写效率的提高。而最新GPT-4的发布，是否可以应用到对区块链、Solidity智能合约的审计中呢？

基于这样的疑问，我们进行了多种可行性测试。

测试环境及测试方法

测试使用的对比模型对象：GPT-3.5(Web),GPT-3.5-turbo-0301,GPT-4(Web)。

代码片段使用Prompt：HelpmediscovervulnerabilitiesinthisSoliditysmartcontract.

漏洞代码片段的检测对比

在此部分，我们分三次测试，使用历史上常见的漏洞代码作为测试一和测试二的用例，来验证其对基础漏洞的检测能力，测试三中使用中等难度的漏洞代码作为测试用例。

测试一

用例：《智能合约安全审计入门篇——Phishingwithtx.origin》

冉小波：算法交易诞生的流动性挖矿推动整个DeFi进入火爆阶段:9月4日消息，NULS联合发起人冉小波在做客《HyperPay焦点》栏目时提及：DeFi大热，资金都倾向于玩DeFi，反而应该是其他公链的一个挑战。所以公链也需要一些结合DeFi的一些创新的玩法了，不然大部分的资金和流量可能都会流转到一些毫无实际意义项目的流动性挖矿中。这一点相信其他的公链团队应该也感触颇深。DeFi的分支有很多，各家公链也都有在做一些探索，总的来看，推动整个DeFi进入火爆阶段的是算法交易诞生的流动性挖矿。近期大热的项目基本上都是一些新的项目，通过流动性挖矿来进行筹码的分配，以非常高的收益率来进行高通胀的Token分配，从而吸引大量的资金短时间内快速加入。[2020/9/4]

漏洞代码：

对GPT进行提问：

GPT-3.5(Web)answer

彭博社：8月加密市场因DeFi火爆增加超500种新代币:由于DeFi热潮涌动，2020年8月加密货币市场已经增加超500种新代币，或导致加密泡沫再次变得越来越大。在投机欲望激增的推动下，猪排（Porkchop）、Davecoin、意面（PASTA）、寿司（Sushiswap）Newtonium等新代币纷纷登场，许多项目没有实际效用，但投资者已经投入数十亿美元。根据DeFi市场数据提供商DeFi Pulse数据显示，截至9月2日，用户向所有DeFi应用程序投入的资金超过94.6亿美元。（彭博社）[2020/9/2]

GPT-3.5-turbo-0301answer

GPT-4(Web)answer

动态 | 区块链、股权转让概念持续火爆 相关上市公司备受市场青睐:据证券市场周刊报道，上半周，两市热点题材萎靡，区块链、股权转让、壳资源是仅存的几个亮点。消息面上，11月8日，《上市公司证券发行管理办法》、《创业板上市公司证券发行管理暂行办法》等再融资规则发布，股权转让概念受关注，区块链则是自10月底以来持续火爆的概念。上市公司中兼具两个概念的为数不多，如恒久科技(11.600,-0.19,-1.61%)（002808）近日收购信息安全企业闽保股份正式涉链就被市场所挖掘；九鼎新材(23.720,0.71,3.09%)（002201）则再度霸占股权转让概念上涨榜。[2019/11/13]

可以看到结果：3个测试版本都发现了关键的tx.origin相关问题。

测试二

用例：《智能合约安全审计入门篇——溢出漏洞》

漏洞代码：

对GPT进行提问：

GPT-3.5(Web)answer

“区块链大爷”火爆2018全球区块链精英峰会会场:据火讯财经报道称，4月28日，在2018全球区块链精英峰会会场外，一个头发花白的大爷吸引了很多人的注意，大爷手持宣传牌，上面写着“全球首个保洁链-Clean Chain，去中介化的保洁服务与管理”，同时发布需求“求技术合伙人！求交易所联系方式！”在宣传语中还表达了保洁行业是人类刚需，与区块链技术相结合势不可挡的强烈意愿。现场很多人称其为“区块链大爷”。[2018/4/28]

GPT-3.5-turbo-0301answer

GPT-4(Web)answer

可以看到GPT-3.5(Web)、GPT-3.5-turbo-0301都发现了关键的Overflow漏洞，出乎意料的是GPT-4(Web)居然没有相关提示。

测试三

用例：《空手套白狼——Popsicle被黑分析》

AMD季报亮眼 GPU随区块链火爆而热销:美国半导体公司AMD季度财报非常亮眼，业界的焦点从芯片销售转移到了区块链技术提供商的身份上面。区块链的应用范围已经不仅限于虚拟货币，随时有望爆发。市面上发行流通的虚拟货币大多都需要“挖矿”，即虚拟货币矿工利用运行速度极快的GPU解决区块链中复杂的数学难题，然后获得新的数字货币作为奖励。作为供应商，GPU价格上涨势必将让AMD和英伟达获得巨大的收益。分析师预计，随着全球越来越多的公司计划进军比特币市场或者区块链，GPU销售将有望进一步增长。[2018/2/2]

漏洞代码：

对GPT进行提问：

GPT-3.5(Web)answer

GPT-3.5-turbo-0301answer

GPT-4(Web)answer

对比结果，我们可以看到3个版本都未发现关键的漏洞点。

代码片段的检测总结

可以看到GPT模型对简单的漏洞代码块的检测能力还是不错的，但是对稍微复杂一点的漏洞代码暂时还无法检测，并且在测试中可以看到GPT-4(Web)的整体上下文可读性很高，输出格式清晰、舒服，但是其对代码的审计能力暂时没有远超GPT-3.5(Web)、GPT-3.5-turbo-0301，甚至在部分测试中由于Transformer输出存在一定的不确定性反而导致GPT-4(Web)遗漏了一些关键问题。

对比已知漏洞的全量合约检测

为了更加契合普通项目方在合约审计中的简单操作需求，这里我们提高些难度，针对代码量大的合约进行全量导入上下文，让GPT-4模型进行审计。

用例：《千万美元被盗——DeFi平台MonoXFinance被黑分析》

整份合约分批输入，在对话最后提出检测漏洞请求

这里使用Prompt：

Hereisasoliditysmartcontract

Contractcode

Theaboveisthecompletecode,helpmediscovervulnerabilitiesinthissmartcontract.

可以看到，GPT-4虽然在OpenAI公布的信息中其单次输入字符总数已经是当前最高，但还是会由于文本超长导致在最后提问时GPT会上下文缺失而只识别到部分内容，所以这样对大型合约而言就无法进行完整的上下文审计。

拆封整份合约，分批输入分批检测

这里使用Prompt：

对话1：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段内容1

对话2：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段内容2

对话3：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段内容3

总结

GPT当前是否适合合约分析

优点

GPT对合约代码中基础的简单的漏洞具备部分检测能力，并且在检测出漏洞后会以很高的可读性来解释漏洞问题，这样的特性比较适合为初级合约审计工作者前期训练提供快速指导和简单答疑。

存在的问题

a.每次生成内容波动

GPT对每次对话的输出存在一定的波动，可以通过API接口参数进行调整，但是依旧不是恒定的输出，虽然这样的波动性对语言对话来说是好的方式，大大提高了对话给人的真实感。但是这对代码分析类的工作来说是一个不好的问题。因为为了覆盖AI可能告知我的多种漏洞回答，我需要多次请求同一问题并进行对比筛选，这无形中又提高了工作量，违背了AI辅助人类提高效率的基准目标。

例如这里再次运行"漏洞代码片段的检测对比测试二：

可以看到其输出结果比之前测试又多了一些额外内容。

b.漏洞分析能力依旧有很大的提高空间

对稍微复杂的漏洞进行检测即会发现当前的训练模型不能正确的分析并找到相关关键漏洞点。

GPT辅助合约审计的可行性和潜力分析

虽然当前来看GPT对合约漏洞的分析及挖掘能力还处于相对较弱的状态，但它对普通漏洞小代码块的分析并生成报告文本的能力依旧让使用者兴奋，在可预见的未来几年伴随这GPT及其他AI模型的训练开发，相信对大型复杂合约的更快速，更智能，更全面的辅助审计一定会实现。当科技发展可指数级提高人工的效率时就会发生质变，我们非常期待AI对区块链安全的助力，我们会持续关注新AI产品对区块链安全的影响。最后可见的将来我们必将与AI在一定程度上进行融合，愿AI和区块链与你同在。

标签：GPT区块链APIGPT价格GPT币区块链工程专业学什么区块链存证怎么弄区块链技术发展现状和趋势API价格API币

TUSD热门资讯