作者:LefterisKokoris-Kogias
来源:paradigm.xyz
编译:ETH中文
大家鲜少提到如何正确地测量一个系统,但它却是系统设计和评估过程中最重要的步骤。系统中有许多共识协议、各种性能的变量和对可扩展性的权衡。
然而,直到目前都没有一种所有人都认同的可靠方法,能够让人进行苹果对比苹果这种同一范畴内的合理比较。在本文,我们将概述受到数据中心化系统测量机制启发的一种方法,并探讨在评估一个区块链系统时可以避免的一些常见错误。
关键指标及其相互作用
在开发区块链系统时,我们应该将两个重要指标考量在内:延迟和吞吐量。
用户关心的第一件事就是交易延迟,即发起交易或支付和收到确认交易有效性信息之间的时间。
在传统的BFT系统中,一旦交易被确认就会被敲定,而最长链共识机制中,一笔交易可能会被打包进区块,然后再重组。结果就是,我们需要一直等到交易达到“k个区块深”了才能进行敲定,这就导致了延迟的时间大大超过了单次确认的时间。
动态 | 巴西要求新外交官了解区块链和加密货币:据cointelegraph报道,巴西外交学院里约布兰科研究所现在要求外交官候选人了解加密货币和区块链。据悉,该研究所为外交官提供两个升读课程,其2019年挑选新外交官的布告中包括要求候选人了解区块链和数字货币。[2019/7/9]
其次,系统的吞吐量一般对于系统设计者来说十分重要。这就是系统每单位时间所处理的总负载,一般表达为每秒交易量(TPS)。
乍一看,这两个关键指标看起来是完全相反的东西。但因为吞吐量由每秒的交易量得出,而延迟则是以秒为单位进行测量。自然而然地,我们会认为吞吐量=负载/延迟。
但事实并非如此。因为许多系统倾向于生成在y轴上展示吞吐量或延迟,而在x轴上展示节点数量的图表,所以这种计算方式的实现是不可能的。相反,我们能生成一个更好的、包含吞吐量/延迟指标的图表,它以非线性的方式呈现让图表清晰易读。
政策 | 新加坡法案:推出专业人士转业计划 了解区块链等新兴产业:据经济日报消息,新加坡总统哈莉玛日前批准政府拨款法案,标志着新加坡2019年度财政预算案正式生效。在员工自身发展方面,新加坡政府十分重视国民素质教育,创造人才成长的良好环境,推出专业人士转业计划,从而让他们了解区块链等新兴产业,成为复合型人才。[2019/3/20]
当没有竞争时,延迟是恒定的,仅是改变系统的负载,就可以改变吞吐量。会发生这种情况,是因为低竞争情况下,发送交易的最小开销是固定的,且队列延迟为0,致使“无论进来什么,都能直接出去”。
在竞争激烈的情况下,吞吐量是恒定的,但仅是改变负载就可以让延迟发生变化。
这是因为系统已经超负载了,而增加更多负载会造成等待队列无限变长。更反常的是,延迟似乎会随着实验长度而发生变化,这是一个无限增长队列的人为结果。
这些表现都可以在典型的“曲棍球图”或“L型图”上看到,它取决于到达间隔的分布。因此,这篇文章的关键要点是,我们应该在热区进行测量,这里的吞吐量和延迟都会影响我们的基准;而不用测量边缘区域,这里的吞吐量和延迟只有一个是重要的。
动态 | 分析师:IBM需找到了解区块链的用户:据CNN报道,近年来IBM一直在大力投资区块链技术,涉及航运、银行、医疗保健和食品安全等行业的500多个项目。对此,Edward Jones的分析师Josh Olson表示:“这是一个大胆的举动,为此,IBM必须找到了解技术并真正能够从中受益的用户,还需要创建一个可以跨行业扩展的标准化系统。”
?[2018/9/7]
测量方法论
在做实验时,实验者有三种主要的设计选项:
1、开环vs.闭环
现在有两种可以控制对目标发出请求流的主要方法。开环系统基于n=∞个客户端进行建模,这些客户端根据速率λ和到达间隔分布向目标发送请求。闭环系统会在任何给定时间内限制未完成请求的数量。开环系统和闭环系统的区别是特定部署的特点,同一个系统可以部署在不同的场景中。
例如,一个键值存储可以在一个开环部署中为数千个应用程序服务器提供服务,或在一个闭环部署中只为几个阻塞客户端提供服务。
声音 | 救助儿童会Paul Ronalds:慈善机构领导者也应去了解区块链等技术如何运作:根据Coincryptorama消息,救助儿童会首席执行官Paul Ronalds在关于区块链对慈善事业的潜在影响的小组讨论后表示,慈善机构对区块链的使用还处于初期阶段”,要在其潜力被夸大之前需要进行更多的讨论和研究。慈善机构面临的主要障碍之一是,当涉及区块链这种存储数据的方法时,行业领导者并不能很好理解,我们需要确保慈善机构领导者同样参与、了解数字世界以及如何运作区块链等技术,来帮助他们的做好慈善事业。[2018/9/3]
对正确的部署场景进行测试是必不可少的,因为比起闭环系统的延迟通常受制于潜在的未完成请求数量,而开环系统可能会产生大量的等待队列,所以,延迟会更长。一般来说,区块链协议可以被任意数量的客户端使用,所以在开环环境下对其做评估会更准确。
2、综合基准测试的到达间隔分布
传真格基金创始人徐小平呼吁各CEO了解区块链 学习如何拥抱这场革命:据某互联网知名博主爆料,真格基金创始人徐小平在真格基金投资组合微信群呼吁各CEO积极了解区块链,并立即动员全体高管和员工,学习如何拥抱这场革命。[2018/1/9]
在创建合成工作负载时,我们必然会问:如何向系统提交请求?许多系统在测量之前会先预加载事务,但这会使测量产生偏差,因为系统从异常状态0开始运行。此外,预加载的请求已经在主存储器中,也因此绕过了其网络堆栈。
更好一些的方法则是以确定的速率发送请求,这会导致L型的图表的出现,因为系统的容量得到了最佳使用。
然而,开放系统往往不以可预测的方式运作。相反,它们有处于高负载和低负载的时间段。为了对此进行建模,我们可以采用概率间隔分布,该分布一般是基于泊松分布。它将导致“曲棍球”图表,因为即使平均速率低于最佳值,泊松爆发也会导致一些排队延迟。但这对我们十分有利,因为我们可以看到系统如何处理高负载以及负载恢复正常时,系统恢复的速度有多快。
3、热身阶段
最后要考虑的一点是何时开始测量。我们希望流水线在开始之前充满事务;否则,将需要测量预热延迟。理想情况下,预热延迟的测量应该通过热身阶段中的延迟测量来完成,直到测量结果遵循预期的分布。
如何进行比较
最后一个难题是合理比较系统的各种部署。同样,难点在于延迟和吞吐量是相互依赖的,因此我们可能难以生成公平的吞吐量/节点数图表。
最好的方法是定义服务级别目标(SLO)并测量当时的吞吐量,而不是简单地将每个系统推到其最高吞吐量。在吞吐量/延迟图上绘制一条与延迟轴相交SLO处的水平线并对相交点进行采样,这是一种可视化的好方法。
但我设置了5秒的SLO,它只需要2秒
有人可能想要增加这里的负载,以便利用饱和点之后稍高的可用吞吐量。但是这很危险。如果系统操作配置不足,意外的请求爆发将导致系统达到完全饱和,致使延迟激增且很快会违背SLO。实质上,在饱和点之后运行会导致一种不稳定的平衡。
因此,有两点需要考虑:
过度配置系统。本质上,系统应该在饱和点以下运行,以便吸收到达间隔分布中的爆发,而不会导致排队延迟增加。
如果SLO下方有空间,请增加batch的大小。这会增加系统关键路径上的负载,而不会增多排队延迟,它为你提供更高的吞吐量以获得你所要的更高延迟权衡。
我正在产生巨大的负载,该如何测量延迟呢?
当系统的负载很高时,尝试访问本地时钟,并为到达系统的每个事务添加时间戳可能会导致结果出现偏差。
相反,还有两个更可行的选择。第一种也是最简单的方法是对事务进行抽样;例如,在某些事务中可能存在一个魔数,而这些事务是客户端为其保留计时器的事务。在提交时间之后,任何人都可以检查区块链以确定这些事务何时提交,从而计算它们的延迟。这种做法的主要优点是,它不会干扰到达间隔分布。但是,因为必须修改某些事务,所以它可能被认为是“hacky”。
而更系统的方法则是使用两个负载生成器。第一个是主要的负载生成器,由它来遵循泊松分布。第二个请求生成器则用来测量延迟,并且它的负载会低得多;与系统的其余部分相比,可以将这个请求生成器视为单个客户端。即使系统向每个请求发送回复,我们也可以轻松地将所有回复放到负载生成器中,并只测量来自请求生成器的延迟。
唯一棘手的部分是,实际的到达间隔分布是两个随机变量的总和;但是,两个泊松分布的总和仍然是泊松分布,所以数学并不难:)。
总结
测量大规模分布式系统对于识别瓶颈和分析压力下的预期行为是至关重要的。希望通过使用上述方法,我们都可以朝着公用语言迈出第一步,这最终将让区块链系统更适用于他们所做的工作以及他们对终端用户的承诺。
在未来的工作中,我们计划将此方法应用于现有的共识机制中,如果有兴趣,请在Twitter上联系!
标签:区块链TER加密货币OIN区块链的未来发展前景作者是谁shelterDAO加密货币是干什么用的Chicken Nugget Coin
作者:?R3PO加密不缺故事,而Aptos贡献了一次事故。Move生态的威力不应被轻视,跟随Aptos主网上线的,已经有域名服务AptosNames、钱包Pontem、多签钱包MomentumS.
1900/1/1 0:00:00据BeosinEagleEyeWeb3安全预警与监控平台监测显示,Celo上的Moola协议遭受攻击,黑客获利约900万美元.
1900/1/1 0:00:00作者:wesely,DeFi之道FTX,花了两年时间坐上二把手的位置,只在一夕之间跌落神坛,百亿估值如昙花泡影,一朝散尽,放在年轻的加密行业发展史中,它也如一颗巨石,跌落湖中央.
1900/1/1 0:00:00作者:ApeXPro最近FTX事件接连发酵引发行业震荡,尤其是曾经是FTX的早期投资,持有大量FTT代币的币安创始人CZ发推称,要清仓其持有的FTT,此番操作势必让FTT价格大跌,于是乎.
1900/1/1 0:00:00据慢雾安全团队情报,ETH链上的DFXFinance项目遭到攻击,攻击者获利约231,138美元.
1900/1/1 0:00:00整理:润升,链捕手“过去24小时都发生了哪些重要事件”?1、淡马锡:向FTX、FTXUS投资约2.75亿美元,曾花费8个月尽调显示FTX盈利淡马锡发布《关于FTX的声明》,淡马锡表示.
1900/1/1 0:00:00