OPM:OPML：采用Optimistic Rollup系统的机器学习_PML

来源：github；编译：MarsBit

我们提出OPML(Optimistic机器学习)，它可以使用Optimistic方法对区块链系统进行AI模型推理和训练/微调。

与ZKML相比，OPML可以提供低成本、高效率的ML服务。OPML的参与要求很低：我们现在能够在没有GPU的普通PC上运行带有大型语言模型的OPML，例如7B-LLaMA(模型大小约为26GB)。

OPML采用验证游戏(类似于Truebit和Optimistic Rollup系统)来保证ML服务的去中心化和可验证共识。

请求者首先启动一个ML服务任务。

然后，服务器完成ML服务任务并将结果提交到链上。

验证者将验证结果。假设存在一个验证者声明结果是错误的。它通过与服务器的验证游戏（二分协议）启动验证游戏，并试图通过精确指出一个具体的错误步骤来反驳该声明。

最后，在智能合约上进行单个步骤的仲裁。

单阶段精确定位协议的工作原理与计算委托 (RDoC) 类似，其中假设两个或多个参与方(至少有一个诚实的参与方)执行相同的程序。然后，双方可以用精确的方式相互质疑，以找出有争议的步骤。将步骤发送给计算能力较弱的法官(区块链上的智能合约)进行仲裁。

碳中性PoW矿池NoPool获得Kadena Grant并加入其生态:金色财经报道，可扩展Layer 1 PoW区块链Kadena今天宣布Kadena Grant获赠者NoPool已加入其生态系统，旨在解决PoW对中心化矿池的依赖，并最大限度地减少Kadena挖矿对环境的影响。随着NoPool的推出，Kadena矿工将获得独特的激励措施，可在BITMAIN的支持下获得碳中性认证。

据介绍，NoPool项目由Massive开发，该公司是一个去中心化的区块链资源提供商，允许用户选择利用空闲算力获得收入。（PR Newswire）[2023/2/22 12:20:40]

在单阶段OPML中：

我们构建了一个虚拟机(VM)用于链下执行和链上仲裁。我们保证了在智能合约上实现的链下VM和链上VM的等效性。

为了确保虚拟机中AI模型推理的效率，我们实现了一个专门为此目的设计的轻量级DNN库，而不是依赖于流行的ML框架，如Tensorflow或PyTorch。此外，还提供了一个脚本，可以将Tensorflow和PyTorch模型转换为这个轻量级库。

Optimism拟于3月16日执行Bedrock主网升级:金色财经报道，Optimism发起新去中心化Rollup基础架构Bedrock主网升级提案，如果提案投票通过，升级将在北京时间3月16日1:00执行，升级期间存款和交易会暂停，但大多数用户不会受到升级的影响，预计升级持续4个小时，升级后仍然可以访问历史链数据。[2023/2/2 11:42:49]

采用交叉编译技术将人工智能模型推理代码编译成虚拟机程序指令。

虚拟机镜像是用默克尔树管理的，只有默克尔根会被上传到链上智能合约。(默克尔根代表虚拟机状态)

二分协议将帮助定位争议步骤，该步骤将发送到区块链上的仲裁合约

性能：我们在PC上测试了一个基本的AI模型(用于MNIST分类的DNN模型)。我们能够在VM中2秒内完成DNN推理，在本地以太坊测试环境中，整个挑战过程可以在2分钟内完成。

Jay-Z将推特头像更改为CryptoPunk:金色财经报道，在即将在苏富比拍卖行举办其首次NFT拍卖之际，著名音乐家和企业家Jay-Z将他的推特头像更改为CryptoPunk。该特定CryptoPunk于4月25日以55 ETH的价格购买，当时价值126,000美元。由于该CryptoPunk可能属于Jay-Z，其他加密用户已开始向与该CryptoPunk关联的以太坊地址发送NFT。[2021/6/26 0:07:09]

单阶段验证游戏有一个严重的缺点：所有的计算必须在虚拟机(VM)内执行，这使我们无法充分利用 GPU/TPU 加速或并行处理的潜力。因此，这一限制严重阻碍了大模型推理的效率，这也与当前RDoC协议的限制相一致。

为了解决单阶段协议所带来的限制，并确保OPML能够达到与本机环境相当的性能水平，我们提出了对多阶段协议的扩展。使用这种方法，我们只需要在最后阶段在VM中进行计算，类似于单阶段协议。对于其他阶段，我们可以灵活地执行计算，从而在本机环境中实现状态转换，利用CPU、GPU、TPU甚至并行处理的能力。通过减少对VM的依赖，我们显著地减少了开销，从而显著提高了OPML的执行性能，几乎与本机环境类似。

以太坊域名服务ENS展示基于Optimism的二层MVP版本:以太坊域名服务ENS的首席开发者NickJohnson在ENS研讨会上演示了由Layer2支持的第一个ENS的最小化可行产品（MVP），展示了如何在Optimism上解析ENS域名。这次端到端的演示是首次使用二层解决方案解析ENS名称的实例，展示了一层的应用和不同的二层解决方案之间进行无信任通信的全新系统。该系统基于VitalikButerin的想法，使用户能够将记录存至L2上，支持对ENS数据更新，而无需支付以太坊Gas。NickJohnson表示之后会继续开发构建支持ENS和其他项目的标准版本。[2021/4/8 19:57:53]

下图演示了一个验证游戏由两个阶段(k = 2)组成。在阶段1中，该过程类似于一个单阶段验证游戏，其中每个状态转换对应于一个改变虚拟机状态的单个VM微指令。在阶段2中，状态转换对应于包含改变计算上下文的多个微指令的“大指令”。

提交者和验证者将首先使用二分协议启动第二阶段的验证游戏， 以定位“大指令”上的争议步骤。此步骤将发送到下一阶段，即phase -1。第一阶段的工作原理类似于单阶段验证游戏。第一阶段的二分协议将有助于定位 VM 微指令上的争议步骤。该步骤将发送至区块链上的仲裁合约。

动态 | Cryptopia：黑客攻击的受害者将得到退款:据ambcrypto消息，总部位于新西兰的加密货币交易所Cryptopia一直在努力更新其系统，以便重新启动。据此前报道，该交易所在2019年1月遭到两次黑客攻击而瘫痪。最近为了全面恢复功能，交易所进行了系统更新，在此期间，交易所允许用户进行交易活动，随后停止。在他们的最新推特中，该交易所还通知了用户即将进行的预定更新。Cryptopia团队向所有受黑客攻击影响的用户发送电子邮件。这封邮件似乎是对黑客攻击的澄清，并对有关这是一场退出局的指控进行了回复。该交易所进一步解释了他们在黑客攻击期间所采取的措施，这些措施防止了额外的资金受到损害。自2月14日被允许访问他们的网站以来，该交易所在恢复服务方面多次采取了重大步骤，包括他们的Twitter定期更新。交易所还宣布，黑客攻击的受害者将得到退款。该交易所通知用户，他们计划在本月底前开始活动。[2019/3/18]

为了确保过渡到下一阶段的完整性和安全性，我们依赖于默克尔树。该操作包括从更高级别的阶段提取Merkle子树，从而保证验证过程的无缝延续。

在本演示中，我们提出了 LLaMA 模型中使用的两阶段 OPML 方法：

机器学习(ML)，特别是深度神经网络(DNN)的计算过程可以表示为计算图，表示为G。该图由各种计算节点组成，能够存储中间计算结果。

DNN模型推理本质上是在上述计算图上的计算过程。整个图可以看作是推理状态(Phase-2中的计算上下文)。在计算每个节点时，结果存储在该节点中，从而将计算图推进到下一个状态。

因此，我们可以先在计算图上进行验证博弈(在phase-2)。在第二阶段验证游戏中，图形节点的计算可以在本地环境中使用多线程CPU或GPU进行。二分协议将帮助定位争议节点，该节点的计算将发送到下一阶段(phase-1) 二分协议。

在第一阶段二分中，我们将单个节点的计算转换为虚拟机(VM)指令，类似于在单阶段协议中所做的操作。

值得注意的是，当计算图中单个节点的计算仍然计算复杂时，我们预计会引入多阶段OPML方法(包括两个以上阶段)。这一延长将进一步提高验证过程的整体效率和有效性。

在这里，我们对我们提出的多阶段验证框架进行了简要的讨论和分析。

假设有n DNN计算图中的节点，每个节点需要取m VM微指令，在VM中完成计算。假设使用GPU或并行计算对每个节点的计算加速比为α 。该比率表示通过GPU或并行计算实现的加速，并且可以达到显着值，通常比VM执行速度快几十倍甚至数百倍。

基于这些考虑，我们得出以下结论：

1.两阶段OPML优于单阶段OPML，实现了计算加速α次。多阶段验证的使用使我们能够利用GPU或并行处理提供的加速计算能力，从而显着提高整体性能。

2.当比较Merkle树的大小时，我们发现在两阶段OPML中，大小为O(m+n)，而在单阶段OPML中，尺寸明显大于 O(mn)。Merkle树大小的减小进一步突出了多阶段设计的效率和可扩展性。

总之，多阶段验证框架提供了显着的性能改进，确保更高效和更快的计算，特别是在利用GPU或并行处理的加速能力时。此外，减小的Merkle树大小增加了系统的有效性和可扩展性，使多阶段OPML成为各种应用的选择。

在OPML中，确保ML结果的一致性是至关重要的。

在DNN计算的本机执行过程中，特别是在不同的硬件平台上，由于浮点数的特性，可能会产生执行结果的差异。例如，涉及浮点数的并行计算，例如(a+b)+c与a+(b+c)， 由于舍入误差，通常会产生不相同的结果。此外，编程语言、编译器版本和操作系统等因素都可能影响浮点数的计算结果，从而导致ML结果进一步不一致。

为了应对这些挑战并保证OPML的一致性，我们采用了两种关键方法：

1.采用定点算法，又称量化技术。这种技术使我们能够使用固定精度而不是浮点数来表示和执行计算。通过这样做，我们减轻了浮点舍入误差的影响，从而获得更可靠和一致的结果。

2.我们利用基于软件的浮点库，这些库旨在跨不同平台保持一致的功能。这些库确保了ML结果的跨平台一致性和确定性，而无论底层硬件或软件配置如何。

通过结合定点算法和基于软件的浮点库，我们为在OPML框架内实现一致和可靠的ML结果奠定了坚实的基础。这种技术的协调使我们能够克服浮点变量和平台差异带来的固有挑战，最终增强OPML计算的完整性和可靠性。

*：在当前的OPML框架中，我们的主要重点在于ML模型的推理，从而实现高效且安全的模型计算。然而，必须强调的是，我们的框架也支持训练过程，使其成为各种机器学习任务的通用解决方案。

请注意，OPML仍在开发中。如果您有兴趣成为这一激动人心的计划的一部分，并为OPML项目做出贡献，请随时与我们联系。

MarsBit

媒体专栏

阅读更多

Foresight News

金色财经 Jason.

白话区块链

金色早8点

LD Capital

-R3PO

深潮TechFlow

标签：OPMPMLENSCRYPTOWoopMoneyPMLG价格AENS价格CryptoMoonShot

Fil热门资讯