月亮链 月亮链
Ctrl+D收藏月亮链
首页 > 区块链 > 正文

以太坊:一文了解Geth客户端快照加速机制_ETH

作者:

时间:1900/1/1 0:00:00

编者按:本文来自以太坊爱好者,作者:PéterSzilágyi,翻译:阿剑,Odaily星球日报经授权转载。本文为Geth客户端有问必答系列的第一篇文章,大家可以就Geth客户端的问题踊跃提问,我会每周用一篇小文章回答得票最高的问题。本周呼声最高的问题是:你能说说flat数据库结构与legacy结构的主要区别吗?以太坊的状态

在深入了解加速结构之前,我们先回顾一下以太坊的「状态」概念、状态在涉及到不同层次的抽象时又是如何存储的。以太坊有两种不同类型的状态:账户的集合;每一合约账户存储槽的集合。从完全抽象的角度来看,两种数据都是键-值对。账户集合把地址映射到该地址的nonce、余额,等等。而一个合约的存储领域把任意的值映射到某个值。但糟糕的是,虽然把这些键值对存储成扁平数据可以非常高效,但验证它们的正确性在计算上就会变得很难。每当对数据修改时,我们都要自下而上对所有数据做哈希运算。为免去总是对整个数据库做哈希运算的需要,我们可以把数据库分割成连续的小片,然后建立出一种树状结构!最原始、最有用的数据就放在叶子节点上,然后树上每一个内部节点都是该节点以下内容的哈希值。如此一来,当我们要修改某些值时,就只需做对数次的哈希运算。这种数据结构其实有一个路人皆知的名字,就是「默克尔树」。但还没完,这种办法在计算复杂性上还是有所欠缺。默克尔树结构虽然在修改现有数据时非常高效,但是,如果插入数据和删除数据会更改底层小数据块的边界,那就会让所有已经算好的哈希值全都变为无效。这时候,与其盲目地对数据库分组,我们可以使用键本身来组织数据、基于共同前缀将数据都安排到树状格式中!这样插入和删除操作都不会影响到所有节点,只会影响到从树根到叶子路径上的节点。这种数据结构就叫「帕特里夏树」。把上面两种办法合在一起——帕特里夏树的树状分层和默克尔树的哈希算法——就是所谓的「默克尔-帕特里夏树」,也是实践中用于代表以太坊状态的数据结构。无论是修改、插入、删除还是验证,都只有对数复杂度!唯一的小小例外是,有些键会在插入前做哈希运算,以平衡整棵树。以太坊的状态存储

BurnBNB:目前已经销毁112800枚BNB:金色财经消息,BurnBNB发推特表示,自BEP-95实时销毁升级以来,已经销毁了112,800枚BNB(价值45,595,800美元)。[2022/8/20 12:37:31]

上文解释了为什么以太坊要用默克尔帕特里夏树结构来存储其状态。遗憾的是,虽然所需操作的速度都很快,但每一种选择都有所牺牲。更新操作和验证操作的对数复杂性意味着对每一个单独的密钥的读取和存储都是对数复杂的。这是因为树状结构的每一个内部节点都要单独保存在硬盘上。此时此刻,账户树的深度确切是多少我不知道,但在大约一年以前,账户状态就已填满了7层高的树。这就意味着,每一次树操作都要触达至少7~8个内部节点,因此会做至少7~8次持久数据库访问。LevelDB组织数据时最多也是7层,所以还有一个额外的乘数。最终的结果是,单次状态访问预计会放大为25~50次随机的硬盘访问。你再乘上一个区块中的所有交易的所有状态读取和写入,你会得到一个吓人的数字。可怕之处还在于,这个数字就是运行一个以太坊节点、保证能全时验证所有状态的成本。我们能做得更好一点吗?并不是所有访问都要一视同仁

英国将探索基于区块链的政府债券:金色财经报道,英国新任财政大臣 Nadhim Zahawi 表示,政府将探索区块链用于政府债券。探索区块链的计划在4月首次被提及,当时英国发布了关于DLT用于证券和稳定币监管的文件。

债券是正在部署或探索DLT的顶级资产类别之一。而且,这不仅适用于普通债券,也适用于绿色债券,其中债券收益的使用可以使用区块链进行跟踪和验证。国际清算银行(BIS)创新中心正在与香港金融管理局合作,探索区块链用于绿色债券。(ledgerinsights)[2022/7/20 2:26:27]

以太坊的运行依赖于对状态的密码学证明。只要我们还想保持对所有数据的验证能力,就绕不开硬盘读写放大问题。也就是说,我们——可以并且也事实上——相信我们已经验证过的数据。不断重复验证每一个状态物是没有意义的,但如果每次从硬盘中拉取数据都要验证一次的话,就是在做这样没有意义的事。默克尔帕特里夏树结构本质上是为写入操作设计的,但反过来就成了读取操作的负担。我们摆脱不了它,也无法让它瘦身,但这绝不意味着我们在每一个场合都必须使用它。以太坊节点访问状态的场景可大致分为以下三类:在导入一个新区块的时候,EVM代码的执行会产生或多或少基本平衡的状态读取和写入次数。不过,一个用于拒绝服务式攻击的区块可能会产生远多于写入操作的读取操作次数。当节点运营者检索状态的时候,EVM代码执行仅产生读取操作。当节点在同步区块链的时候,同步者会向远程节点请求状态,被请求者会将数据挖掘出来并通过网络传播给同步者。基于上述访问模式,如果我们可以短路读取操作而不触及状态树,则许多节点操作都可以变得快很多。这样甚至能开启一些新奇的访问模式,让原来因为太过昂贵而不可行的模式变为可能。当然,还是不免有所牺牲。没有去掉树结构,任何新的加速结构都会带来额外的开销。问题只在于:额外的开销是否能带来足够多的好处,值得我们一试?请循其本

三箭资本持有价值730万美元的NFT收藏,包括无聊猿、CryptoPunks等:金色财经报道,三箭资本据称持有价值 730 万美元的 NFT 收藏。根据NFTGators公布的数据,以下 NFT 归三箭资本所有,价值约 736 万美元。

1 Bored Ape Yacht Club,价值 6.1 万美元

2 Mutant Ape Yacht Club,价值约 12.26 万美元

11 Crypto Punks NFTs ,价值 300 万美元

330 Art Blocks Curated NFTs ,总价值 248.3 万美元

8 PEGZ NFTs ,价值 61.3 万美元

4 DeafbeefV2 ,价值 56.4 万美元

3 Autoglyphs ,价值 30.4 万美元

7 Art Blocks NFTs,价值 12.5 万美元

7 Chromie Squiggle NFTs,价值 73.78 万美元

根据彭博社最近的一份报告,三箭资本的创始人苏朱据称正试图出售他在新加坡价值 3500 万美元的豪宅。该豪宅于2021年12月由苏朱以4880万美元的价格购买。这所房子目前由他的一个孩子名下的信托基金管理。[2022/7/5 1:50:53]

我们已经开发出了神奇的默克尔帕特里夏树结构来解决我们所有的问题,现在,我们希望让读取操作能绕过它。那么,我们应该用什么样的加速结构来让读取操作重新变得快起来呢?显然,如果我们不需要树结构,那就大可以把伴随树结构而生的复杂性都丢在一边,我们可以直接回到原始状态。如同在本文开头说到的那样,理论上的理想状态下以太坊状态的数据存储方式应是简单键值对,没了默克尔帕特里夏树构成的限制,那就没有什么能阻止我们去实现这种理想方案了!不久之前,Geth引入了snapshot加速结构。一个快照就是给定一个区块处的以太坊状态的完整视图。抽象掉实现方面的细节,它就是把所有账户和合约存储槽堆放在一起,都由扁平的键值对来表示。每当我们想要访问某个账户或者某个存储槽的时候,我们只需付出一次LevelDB的查询操作即可,而不用在每棵树上查询7~8次。理论上来说,更新快照也很简单,处理完一个区块后,我们只需为每个要更新的存储槽多做1次额外的LevelDB写入操作即可。快照加速结构实际上将读取操作的复杂性从O(logn)降到了O(1),代价是将写入操作的复杂性从O(logn)变成了O(1+logn),并将硬盘存储空间从O(nlogn)增加到了O(n+nlogn)。魔鬼藏在细节中

ADAM中文社区正式启动“志愿者招募”:据官方消息,首个基于Web3.0的数据加密计算网络ADAM中文社区正式启动“志愿者招募活动”,凡成功应聘者均可获得丰厚的ADAM代币奖励。目前,代币ADAM已上线去中心化交易所DODO与PancakeSwap,现价为5.83USDT。

ADAM是首个基于Web3.0时代的数据加密计算网络,拥有批量化数据加密传输功能,还能够实现各大链上生态数据信息无障碍流转;ADAM通过搭建全球性的点网络催生链下计算能力,能够进行毫秒级加密计算,实现真正的商业级“DataFi”应用,使每一个参与数据流通的角色,都能够从中受益。[2022/6/23 1:27:13]

维持以太坊状态快照的可用性也不容易。只要区块还在一个接一个地产生,一个接一个地摞在最后一个区块上,那将最新变更合并到快照中的粗疏办法就能正常工作。但是,哪怕有微小的区块链重组,快照机制就崩溃了,因为根本没有设计撤销操作。对扁平数据表示模式来说,持久化写入是单向的操作。而且让事情变得更糟糕的是,我们没办法访问更老的状态了。为了克服这些限制,Geth客户端的快照由两部分组成:一部分持久化的硬盘层,是对旧区块处状态的完整快照;还有一棵内存内diff层组成的树,用于收集最新的写入操作。处理新区块的时候,我们不会直接合并这些写入操作到硬盘层,而仅仅是创建一个新的、包含这些变更的内存内diff层。当内存内部的diff层积累到足够高的层数时,最底部的一个就开始合并更新并推到硬盘层。当需要读取一个状态物时,我们就从最顶端的diff层开始查找,一直往下,直至在diff层中或者在硬盘层中找到。这种数据表示方法非常强大,解决了很多问题。因为内存内部的diff层组成了一棵树,所以128个区块以内的链重组只需取出属于父块的diff层,然后就此开始构建即可。需要较旧状态的dApp和远程同步者可以访问到最近128个最近的状态。开销变成了128次映射查找,但128次内存内的查找比起8次硬盘读取及LevelDB的4~5倍放大要快上几个数量级。当然,这里面还有很多很多的坑。就不讲太深了,简单列举就有下面这张清单:Self-destruct特别难以对付,因为它们需要短路diff层的沉降。如果出现了比持久硬盘层更深的链重组,那现在的快照就要完全废弃掉、重新生成。整套操作非常昂贵。在节点关机时,内存内的diff层需要持久化到日志并加载备份,不然重启之后快照就没用了。使用最底层的diff层作为一个累加器,仅在其超过一定的内存使用时才刷新到硬盘。这就允许跨区块对同一存储槽执行去重写入操作。要为硬盘层分配一个读取缓存,这样合约重复访问同一个古老的存储槽时硬盘才不会损坏。在内存内diff层中使用累积的布隆过滤器,以便快速检测出状态物有没有可能存在于diff层中,还是应该直接跳到硬盘中查找。不把原始数据设为键,而是以这些数据的哈希值为键,以保证快照的迭代顺序与默克尔帕特里夏树相同。生成持久化硬盘层的时间要比剪除状态树窗口的时间多得多,所以即使是生成器,也需要动态地追踪链的运行。美丑并存

元宇宙内容科技服务商爱化身完成千万级天使轮融资:金色财经消息,元宇宙内容科技服务商爱化身已于近日完成千万级天使轮融资,由中科金财独家投资,宇泽资本担任公司长期独家财务顾问。本轮融资将用于工具系统持续孵化、技术研发与生产等。本轮融资过后,爱化身将继续拓展其在虚拟人品牌营销、虚拟互动直播等领域的技术产品能力,并探索 AI 技术在虚拟人和元宇宙领域的应用。(36氪)[2022/5/17 3:20:33]

Geth的快照加速结构将状态读取的复杂性降低了一个数量级。这就意味着基于读取操作的DoS攻击的发动难度上了一个数量级,而ethcall调用也快了一个数量级。快照还让对最近的块进行极速状态迭代成为可能。实际上这曾是我们开发快照机制的主要理由,因为我们可以此为基础创造新的snap同步算法。讲清楚它需要一篇全新的文章,但最近我们在Rinkeby测试网上的基准测试很能说明问题:

当然,这一切同样不是没有代价的。当初始同步完成之后,参与主网的节点需要9~10小时来建构初始快照,还需要额外的15GB以上的硬盘。那糟糕的部分是哪里呢?我们花了6个月时间才积累起足够的自信、发布了快照机制,而且现在它仍然不是默认功能,需要主动使用--snapshot标记来开启,而且还有一些围绕内存使用和崩溃恢复的打磨工作要做。总而言之,对于这一提升,我们非常自豪。其中有巨大的工作量,而且是在黑暗中摸索、自己实现所有东西并祈祷它能工作。还有一个有趣的事情,第一个版本的快照同步是在两年半以前写的,但一直都处于被阻塞的状态,因为我们缺乏必要的加速结构来驱动它。结语

希望你能喜欢Geth客户端有问必答的这一篇文章。我花了比自己所预想的多出一倍的时间,但我并不后悔,因为这个主题值得。下周见。

标签:以太坊NFTETH区块链怎么得到以太坊币的钱NFT SolPadIETHV价格区块链通俗易懂的例子有哪些

区块链热门资讯
POL:Polkadot投资必读:揭秘私募筹资、OTC交易_polkadotteddonkey发音

在去年年中,Polkadot完成了私人募资,以销售单价计算据称其估值为12亿美元。分析人士认为,这笔交易可能并没有达到私募筹资额6000万美元的计划.

1900/1/1 0:00:00
COI:讲一个笑话,IPFS在海外0热度_COIN

从DeFi风口尝到一丝甜头后,肥肥就准备埋伏下一个热门板块,毫无疑问当然是以IPFS为主的存储板块,朋友圈十个就九个吹IPFS,不关注都不行.

1900/1/1 0:00:00
DOT:开盘上涨300%,有人预测市值将会超越ETH,200刀的波卡还能买么?_TetherBlack

编者按:本文来自巴比特资讯,作者:邱祥宇,星球日报经授权发布。“关注波卡,几年一次的大机遇,再次提醒。”7月16日,某币圈投资人在朋友圈喊单。次日,DOT在火币、OK等多个主流交易所公开交易.

1900/1/1 0:00:00
USD:OKEx投研:换汤不换药,比特币或复制前期走势_imtokenAPP下载

BTC/USDT永续合约 各级别性质:日线-盘整,4小时-盘整,1小时-上涨截图来自OKEXBTC/USDT永续合约2小时图:对于行情从两个角度来说.

1900/1/1 0:00:00
BTC:行情分析:从均线系统判断行情,最简单最可靠的技术赚钱系统_DGMT价格

市场要闻1、法国央行选择八家金融科技公司试验数字欧元2、日美欧七国集团将就数字货币展开合作3、数据:USDT成唯一日均交易量超过10亿美元的加密货币4、数据:持有超1枚ETH的以太坊地址数量创历.

1900/1/1 0:00:00
BNB:一文了解通证社区的四个范例_ESS

作者:JamesDuncan译者:李意翻译机构:DAOSquare以下是我们对FredEhrsam与BlakeRobbins和JesseWalden关于创造者、社区和加密领域的访谈的看法.

1900/1/1 0:00:00