区块链:探究 | 区块链底层平台的流控分析及实践_SPA

原标题：《HoldtheDoor！区块链底层平台流控分析》

导读

流量控制是为了解决在面对不确定的和不稳定的流量冲击下，依旧能够保障系统的稳定运行。如果不对系统实施过载保护，大量流量冲击可能影响系统稳定性，甚至引起“雪崩效应”，导致系统崩溃，停止服务。

当无法预测和控制入口流量时，则系统需要进行流量控制。要想达到系统流控的效果，系统流控策略需要从系统整体架构出发，站在系统流量来源、系统总体架构、系统模块资源分配等角度进行分析，从而制定出符合系统的流控策略。

流控纬度分析

▲?流量来源角度

区块链节点的入口流量大体分为两种，一种为客户端发送过来的请求，请求可能为区块链数据查询、发送新交易、合约操作等。节点接收到客户端请求后，首先需要从网络IO流中读取到请求的字节内容，然后反序列化字节内容为结构化内容，最后根据结构化请求体调用对应的API逻辑；另一种为其他区块链节点发过来的网络消息，区块链系统底层是由多个共识节点组成的共识网络，节点间通过计算机网络进行信息传输。节点接收到对端节点发送过来的网络消息后，根据消息类型，抛给对应的模块去处理。

因此，不仅需要对客户端请求进行流量控制，防止大量突发外部请求都往同一个节点发送，耗尽目标节点资源导致目标节点服务瘫痪。还要对节点接收到的网络消息进行限流，防止节点在高负载下，前面的消息涉及的系统逻辑还未处理完，还源源不断地接收和缓存后面到来的消息，甚至导致节点内存溢出。总结起来，即区块链节点入口流量有两种，一种为客户端请求，另一种为节点间网络消息，需要分别对这两类流量进行限流。

接近监管人士：短期内蚂蚁集团重新上市的可能性不大:金色财经报道，有媒体引述知情人士消息称，蚂蚁集团正计划进行重组，考虑剥离区块链等非核心业务，为重启香港IPO铺路。接近监管的人士表示，蚂蚁集团重启IPO一方面要合法合规，另一方面企业也会根据自身内部情况和外部市场情况来作判断。从近期了解到的情况来看，短期内，蚂蚁重新上市的可能性不大。[2023/7/29 16:06:10]

▲?总体架构角度

同一个节点或分区内的不同模块，存在资源竞争问题。以趣链区块链底层平台为例，存在网络资源竞争的模块主要包括：

共识模块区块数据同步模块NVP模块文件上传下载模块其中，共识模块是决定系统服务质量的关键模块。因此，为了保证系统的高可用，需要保证关键模块的流量得到优先处理，限制非关键模块可使用的流量，避免非关键模块抢占了所有系统资源。

▲?多分区架构角度

如下图所示，多分区的区块链系统架构下，每个分区都有一条单独的链，虽然同一个节点不同分区间共识、执行和存储完全解耦，但是不同分区共享同一个计算机资源，因此，多分区本质上也存在资源竞争问题。

美国白宫：将继续监控加密货币的发展:11月11日消息，美国白宫：将继续监控加密货币的发展。加密货币在没有适当监管的情况下可能会伤害普通美国人，最新消息突显了这些担忧。美国白宫不会评论监管机构应该对加密货币采取什么行动。(金十)[2022/11/11 12:46:31]

当多分区架构被应用于业务分区而治场景时，不同分区上运行着不同的业务，如果不对分区流量进行控制，可能存在分区1业务负载极大情况下，分区2虽然空闲，但由于此刻没有空闲计算机资源可用，发往分区2的请求可能需要很久才有响应，甚至出现拒绝服务。因此，多分区架构下，不同分区存在资源竞争，需要对各分区流量进行限流。

▲?有限带宽角度

有时候，我们不希望节点的运行抢占了所有的网络带宽，导致其他程序无法提供服务，这时就希望机房里分配给节点服务器或者分给某个进程有限的带宽。由于带宽有限，这就要求提高节点带宽利用率，并且保证关键流量被优先传输，优先保证系统稳定性和可用性。

常见流量控制算法

在分析完不同角度的流控后，我们需要选择出适用的限流算法。目前常见的限流算法，主要有以下两种：

漏桶算法令牌桶算法▲?漏桶算法

漏桶算法的原理可以类比为往一个固定大小的桶里盛水，同时，水从桶底漏洞以固定速度流出，如果加水过快，则直接溢出，如下图所示。它可以应用于网络传输限流，计算机每发送一个数据包，如果桶内未满，则把数据包放入桶里，如果桶内已满，则丢弃数据包，与此同时，以固定速度从桶内取出数据包，发送到网络，从而达到强行限制数据平均传输速率的目的。

知情人士：Meta准备在本周开始大规模裁员:金色财经报道，据知情人士透露，Meta计划本周开始大规模裁员，这可能是最近一系列科技企业裁员中规模最大的一轮裁员。知情人士称，裁员预计将影响数千名员工，并计划最快在周三发布公告。知情人士说，公司已经告诉员工从本周开始取消不必要的旅行。Meta报告称，截至9月底，员工人数超过87,000名。[2022/11/7 12:23:51]

图片来源于网络

漏桶算法常用于将突发或不稳定流量整形为以固定速度在网络中传输的流量。

▲?令牌桶算法

对于要求允许某种程度的突发传输，漏桶算法显然无法满足需求，而令牌桶可以做到这一点。令牌桶算法同样定义了一个固定大小的桶，桶里最多可容纳b个令牌，每当有数据包需要发送时，要从桶里取出对应数量的令牌才能发送，如果桶里没有足够令牌，则无法发送。与此同时，以固定速度r往桶里添加新令牌，当桶里令牌数已经达到b个时，丢弃新令牌。

Web3 安全生态基础设施 GoPlus Security 为 NFTPlay 智能展示画框提供安全支持:7月23日消息，据官方推特，新一代 NFT 产品 NFTPlay已接入 GoPlus Security 的 NFT 安全检测 API，可对NFTPlay 应用程序和智能框架设备中显示的 NFT 合同地址进行安全认证，进一步保障用户的NFT安全。

据悉，Go+Security 作为 Web3 的“安全数据层”，提供开放、无需许可、用户驱动的安全服务。NFTPlay是新一代的NFT产品，主要基于NFT生态中的线下展示场景，满足NFT持有者的展示、社交需求，围绕IRL进行Web3社交和生态拓展。希望通过IRL设备，虚实联动，丰富现实世界与链上世界的交互场景。[2022/7/23 2:32:34]

图片来源于网络

令牌桶算法非常适合于针对系统外部请求的限流，当桶内有足够多令牌时，系统在某一时刻可以同时接收并处理多个请求，充分利用到系统资源。

IBC社区基金Spark IBC上线Juno Network主网:7月10日消息，IBC社区基金Spark IBC现已上线Cosmos生态智能合约公链Juno Network主网。目前竞选基金在下一次竞选前关闭，普通基金将无限期开??放供捐款。

Spark IBC是一个建立在Juno Network之上的慈善组织，专注于支持IBC互联区块链的跨链生态系统，包括但不限于促进权力下放、开发和验证器（基础设施）支持、营销与公关、一般用户支持、资助社区和基础设施项目、黑客和利用汇款。用户可将USDC捐赠给普通基金或竞选基金，按1:1的比例获得Spark积分。[2022/7/10 2:03:17]

总结来说，令牌桶限流允许突发流量，对于请求的限流、网络带宽限流，更能充分利用系统资源和网络资源，是适用于区块链底层平台系统流控的一种限流方法。

流控实践

最终，我们采用交易拦截器限流+消息分发器限流+网络带宽限流组成三道限流阀门，来应对不同业务场景的压力，保证系统具备较高处理能力的同时又能稳定运行，持续可用。

▲?交易拦截器限流

主要用来限制客户端到节点的流量。具体指在系统达到交易最大处理能力时，接口服务层及早对新交易进行拦截并拒绝，阻止新交易渗透到主流程花费不必要的系统开销，一定程度上让出更多的系统资源去处理未完成的交易。

交易拦截器通过定义拦截规则，来达到限流的目的，最终效果包括：

限制请求速率：通过令牌桶限流算法控制请求速率，并限制节点最多可同时接收并处理的HTTP请求数。节点高负载下拒绝新交易：当节点交易池已满或者处于异常、异常恢复状态无法进行正常三阶段共识时，拒绝来自HTTP客户端发送过来的新交易，避免交易解析、交易验签带来的CPU消耗。▲?带权消息分发器限流

主要用来限制非关键模块的流量，防止带宽、CPU和内存都被非关键模块给占用。具体做法是为各个需要进行网络通信的模块分配带缓存空间的读、写管道，根据模块在系统中所占权重为其管道分配不同的缓存大小。

消息分发器收到一条来自底层P2P网络的网络消息，根据消息类型将消息分发给对应模块进行处理。这条消息首先分发给模块对应的R管道，模块再从R管道按照FIFO原则取出消息，执行相关逻辑，如果R管道消费速度慢于生产速度，导致分发消息时R管道已满，则说明模块内部已处于高负载，丢弃这条消息。为了保证达到系统限流目的，模块从R管道取出消息并处理消息的过程必须是串行的，而模块间的消息并行处理，互不干扰。

举个例子，当非关键模块处于高负载处理能力变慢时，其R管道虽然占满，但是不会影响共识模块消息的处理速度，同时又由于不同模块根据权重R管道大小不同，一定程度上防止节点一直处理非关键模块消息占用过多系统资源而导致共识模块消息无法得到及时处理。

带权消息分发一定程度上降低了各模块由于处理能力差异而相互干扰，提高系统网络消息并行处理能力，保证核心网络消息不被非核心网络消息占去全部系统资源，同时，系统高负载下自动丢弃新接收到的网络消息，防止系统负载过高而崩溃。

▲?网络带宽限流

本文所提的网络带宽限流特指限制节点间通信的最大出口带宽流量，该实现基于GuavaRateLimiter限流。开启出口带宽的限制一定程度上会比关闭带宽限制带来一定TPS的损失，前期经过测试，我们发现，TPS大幅下降主要原因在于开启带宽限制后，我们没有对节点处理能力进行“降级”，导致节点有限的带宽都被用于交易转发而无法在规定时间内发送或处理相关共识消息而极易进入异常状态，而异常状态下节点拒绝新交易，最终导致系统整体交易吞吐量大幅下降。

因此，经过适当修改后，当开启节点出口带宽限流时，根据设置的带宽上限值自动计算交易转发速率，通过控制交易转发速率，使得出口带宽可以被共识关键网络消息充分利用。这种网络带宽限流方法，相比直接使用TC限流，一定程度上，可以提高有限带宽下节点运行的稳定性，并且使得TPS下降在预期可接受范围内。

▲?分区间限流

每个分区通过交易拦截器+带权消息分发来达到限流的目的，从而均衡分配各个分区使用的系统资源。这里不再阐述。

总结

本文通过从多个角度对区块链系统流控进行分析，并得出适用于系统的流控策略，有效解决了节点在各压力测试场景下系统不稳定、容易崩溃的问题，同时保证节点高性能和高稳定性。除了上文的实践以外，后续我们还将进行多种优化，包括但不限于读/写请求并发的限流、限流权重动态调整等等。

作者简介

马晓敏来自趣链科技基础平台部，区块链底层网络研究小组

参考文献

?Leakybucket-Wikipedia

?bucketToken-Wikipedia

?超详细的GuavaRateLimiter限流原理解析

标签：区块链NFTIBCSPA区块链技术的特点NFT4PlayiBc币的前景kaspa币怎么挖

ICP热门资讯