原文:《ANINTRODUCTIONTOZERO-KNOWLEDGEMACHINELEARNING(ZKML)》bydcbuilder.eth,Worldcoin
编译:深潮TechFlow
Zero-Knowledge机器学习是最近正在密码学界引起轰动的一个研究和开发领域。但它是什么,有什么用处呢?首先,让我们把这个术语分解成它的两个组成部分,并解释一下它们是什么。
什么是ZK?
零知识证明是一种密码协议,其中一方可以向另一方证明一个给定的陈述是真实的,而不泄露除该陈述为真以外的任何附加信息。这是一个正在各个方面取得巨大进展的研究领域,涵盖了从研究到协议实施和应用的所有方面。
ZK提供的两个主要“原语”是能够为一组给定的计算创建具有计算完整性证明的能力,其中证明比执行计算本身要容易地多。。ZK证明也提供了隐藏计算中某些部分同时保持计算正确性的选项。。
生成零知识证明需要非常大的计算量,大约比原始计算贵100倍。这意味着,在某些情况下由于最佳硬件上生成它们所需的时间使其不切实际,因此不能计算零知识证明。
然而,在近年来密码学、硬件和分布式系统领域的进步已经使零知识证明成为了越来越强大的计算可行的选择。这些进展已经为可以使用计算密集型证明的协议的创建提供了可能,从而扩大了新应用程序的设计空间。
密码学博士高承实:量子计算机大规模应用将对非对称密码算法和哈希函数带来致命性的影响:密码学博士,计算机应用专业副教授高承实发表《量子计算机的应用会颠覆掉比特币系统吗?》专栏文章,文章表示,量子计算机从发展状况来看,还处于极其早期阶段,离真正实用还有相当远的距离。如果量子计算机真正能够大规模应用,将对密码算法当中的非对称密码算法和哈希函数带来致命性的影响。现在基于数学难解问题而生成的非对称密码算法RSA和ECC安全性将不复存在,哈希函数的抗碰撞性也将受到极大挑战,除非尽可能增加哈希函数的输出长度。目前的非对称密码,主要是ECDSA和哈希函数SHA256,是比特币系统最核心的底层技术,确保了比特币分配和支付的安全,在比特币系统的多个环节得到了应用,包括生成钱包地址、对交易进行签名和验证、计算区块内所有交易的默克尔数生成区块以保证块内数据难以被篡改、激励矿工开展挖矿竞赛以维护系统的自运行……如果ECDSA和SHA256两种算法的安全性不复存在,那么整个比特币系统的安全性也将不复存在。
当然我们也没有必要那么悲观。第一,量子计算机的真正使用还有相当远的距离;第二,随着量子计算以及量子计算机的发展,抗量子计算的密码算法也会同步得到发展,比如格密码。
真的到了那个时候,或者比特币系统中的密码模块会替换为抗量子计算的密码模块,或者比特币已经完成它的历史使命,从这个世界上消亡。(财新)[2020/12/24 16:21:46]
ZK使用案例
动态 | 谷歌将采用密码学以保持数据集的私密性:据wired报道,谷歌将发布一个名为Private Join and Compute的开源加密工具。它有助于连接来自不同数据集的数字列,以计算在整个数学过程中加密和不可读数据的总和,计数或平均值。只有计算结果才能被所有各方解密和查看 - 这意味着你只能获得结果,而不能获得你未拥有的数据。该工具的加密原理可以追溯到20世纪70年代和90年代,但谷歌已经重新利用并更新它们,以便与当今功能更强大、更灵活的处理器配合使用。[2019/6/21]
零知识密码学是Web3空间中最流行的技术之一,因为它允许开发人员构建可扩展和/或私有的应用程序。以下是一些实践中如何使用它的示例:
1.通过ZKrollups扩展以太坊
Starknet
Scroll
PolygonZero,PolygonMiden,PolygonzkEVM
zkSync
2.构建保护隐私的应用程序
Semaphore
MACI
Penumbra
AztecNetwork
声音 | “现代密码学之父”迪菲:量子计算不会威胁到区块链:据澎湃消息,3月27日,被誉为“现代密码学之父”的图灵奖得主惠特菲尔德?迪菲(Whitfield Diffie)在博鳌亚洲论坛上接受澎湃新闻采访时表示,量子计算只会威胁到密码学中非常窄、但非常重要的一个领域,上世纪70年代建立起来的公钥加密体系会变得脆弱。但密码学中的许多技术,包括区块链用到的哈希编码在量子计算面前并不脆弱。[2019/3/27]
3.身份原语和数据来源
WorldID
Sismo
Clique
Axiom
4.第一层协议
Zcash
Mina
随着ZK技术的成熟,我们相信将会出现新的应用程序的爆发,因为构建这些应用程序所使用的工具将需要更少的领域专业知识,对于开发人员来说将会更加容易使用。
机器学习
机器学习是人工智能领域的一个研究方向,使得计算机可以自动从经验中学习和改进,无需明确地进行编程。它利用算法和统计模型来分析和识别数据中的模式,然后基于这些模式进行预测或决策。机器学习的最终目标是开发出能够自适应学习、不需要人类干预以及在医疗保健、金融和交通等各个领域解决复杂问题的智能系统。
声音 | 上海交通大学来学嘉:区块链为密码学创造了价值:据巴比特消息,上海交通大学教授来学嘉在接受采访时提到了区块链对密码学的两大贡献。第一大贡献是为抗抵赖、抗捏造提供了完整的解决方案。区块链能做到抗抵赖,是因为区块链本身就是第三方,参与者自觉服从,数字签名为抗抵赖提供证据。另外,他还指出了区块链对密码学的另一个贡献——区块链为密码学创造了价值,过去的密码学是“赔钱”的,因为要用于保护信息系统的安全,增加了开销;有了区块链后,现在的密码学是“值钱”的,因为密码算法的计算结果(coin)具有价值,另外算法本身也具有价值,比如勒索软件,你要付钱才能解开。[2019/2/25]
最近,您可能已经看到了大型语言模型以及文本到图像的模型的进展。随着这些模型变得越来越好,并且能够执行更广泛的任务,了解是哪个模型执行了这些操作就变得非常重要,还是操作由人类执行。在接下来的部分中,我们将探讨这个思路。
ZKML的动机和当前努力
我们生活在一个世界上,AI/ML生成的内容越来越难以与人类生成的内容区分开来。零知识密码学将使我们能够做出这样的声明:“给定一段内容C,它是由模型M应用于一些输入X生成的。”我们将能够验证某个输出是否是由大型语言模型或文本到图像模型等任何其他我们为其创建了零知识电路表示的模型所生成的。这些证明的零知识属性将使我们能够根据需要也隐藏输入或模型的某些部分。一个很好的例子是在一些敏感数据上应用机器学习模型,在不透露输入到第三方的情况下,用户可以知道他们的数据在模型推理后的结果。
红烧肉在上海交大的密码学及计算机安全实验室发布了抗量子攻击纲要:红烧肉(HSR)在上海交大的密码学及计算机安全实验室发布了抗量子攻击纲要 。[2017/12/19]
注:当我们谈论ZKML时,我们是指创建ML模型推理步骤的零知识证明,而不是关于ML模型训练。目前,现有技术水平的零知识系统加上高性能硬件仍然相差几个数量级,无法证明当前可用的大型语言模型等庞大的模型,但是在创建较小模型的证明方面已经取得了一些进展。
我们对零知识密码学在为ML模型创建证明的上下文中的现有技术水平进行了一些研究,并创建了一个聚合相关研究、文章、应用程序和代码库的文章集。ZKML的资源可以在GitHub上的ZKML社区的awesome-zkml存储库中找到。
ModulusLabs团队最近发布了一篇名为“智能的成本”的论文,其中对现有的ZK证明系统进行了基准测试,并列举了不同大小的多个模型。目前,使用像plonky2这样的证明系统,在强大的AWS机器上运行50秒左右,可以为约1800万个参数的模型创建证明。以下是该论文中的一张图表:
另一个旨在改进ZKML系统技术水平的倡议是Zkonduit的ezkl库,它允许您创建对使用ONNX导出的ML模型的ZK证明。这使得任何ML工程师都能够为他们的模型的推理步骤创建ZK证明,并向任何正确实现的验证器证明输出。
有几个团队正在改进ZK技术,为ZK证明内部发生的操作创建优化硬件,并针对特定用例构建这些协议的优化实现。随着技术的成熟,更大的模型将在较不强大的机器上短时间内进行ZK证明。我们希望这些进展将使新的ZKML应用程序和用例得以出现。
潜在的使用案例
为了确定ZKML是否适用于特定的应用,我们可以考虑ZK密码学的特性将如何解决与机器学习相关的问题。这可以用一个Venn图来说明:
定义:
1.Heuristicoptimization——一种问题解决方法,它使用经验法则或“启发式”来找到艰难的问题的好解决方案,而不是使用传统的优化方法。启发式优化方法旨在在相对的重要性和优化难度下,在合理的时间内找到好的或“足够好”的解决方案,而不是尝试找到最优解决方案。
2.FHEML——完全同态加密ML允许开发人员以保护隐私的方式训练和评估模型;然而,与ZK证明不同,没有办法通过密码学方式证明所执行的计算的正确性。
像Zama.ai这样的团队正在从事这个领域的工作。
3.ZKvsValidity——在行业中,这些术语通常被互换使用,因为有效性证明是ZK证明,不会隐藏计算或其结果的某些部分。在ZKML的上下文中,大多数当前的应用程序都利用了ZK证明的有效性证明方面。
4.ValidityML——ZK证明ML模型,在其中没有计算或结果被保密。它们证明计算的正确性。
以下是一些潜在的ZKML用例示例:
1.计算完整性
ModulusLabs
基于链上可验证的ML交易机器人-RockyBot
自我改进视觉区块链:
增强Lyra金融期权协议AMM的智能特性
为Astraly创建透明的基于AI的声誉系统
使用MLforAztecProtocol致力于合同级合规工具所需的技术突破。
2.机器学习即服务(MLaaS)透明;
3.ZK异常/欺诈检测:
这种应用场景使得可创建针对可利用性/欺诈的ZK证明成为可能。异常检测模型可以在智能合约数据上进行训练,并由DAOs同意作为有趣的度量标准,以便能够自动化安全程序,如更主动、预防性地暂停合约。已有初创企业正在研究在智能合约环境中使用ML模型进行安全目的的方法,因此ZK异常检测证明似乎是自然的下一步。
4.ML推理的通用有效性证明:能够轻松证明和验证输出是给定模型和输入对的乘积。
5.隐私(ZKML)。
6.去中心化的Kaggle:证明模型在某些测试数据上的准确率大于x%,而不会显示权重。
7.隐私保护推理:将对私人患者数据的医疗诊断输入模型,并将敏感的推理发送给患者。
8.Worldcoin:
IrisCode的可升级性:WorldID用户将能够在他们的移动设备的加密存储中自我保管其生物特征,下载用于生成IrisCode的ML模型并在本地创建零知识证明,以证明其IrisCode已成功创建。这个IrisCode可以被无需许可地插入注册的Worldcoin用户之一,因为接收的智能合约可以验证零知识证明,从而验证IrisCode的创建。这意味着,如果Worldcoin将来升级机器学习模型以一种破坏与其之前版本兼容性的方式创建IrisCode,用户就不必再次去Orb,而可以在设备上本地创建这个零知识证明。
Orb安全性:目前,Orb在其受信任的环境中执行几个欺诈和篡改检测机制。然而,我们可以创建一个零知识证明,表明这些机制在拍摄图像和生成IrisCode时是活动的,以便为Worldcoin协议提供更好的活体保证,因为我们可以完全确定这些机制在整个IrisCode生成过程中都将运行。
总之,ZKML技术有着广泛的应用前景,并且正在快速发展。随着越来越多的团队和个人加入到这个领域,我们相信ZKML的应用场景将会更加多样化和广泛化。
周报概要:1、上周NFT总交易额:393,928,177(美元)2、上周NFT总交易笔数:589.
1900/1/1 0:00:00作者:Biteye核心贡献者LouisWang同源如果说有什么方向是用Web3的手段能做得比Web2好的,社交一定算一个。我们的朋友之所以能分享让我们感兴趣的内容,是因为他们真切地了解我们.
1900/1/1 0:00:00随着Arbitrum的第一份改进提案已在社区论坛上发布,ArbitrumDAO的治理流程逐渐完善。本文将概述Arbitrum的治理、ArbitrumDAO以及发起提案和投票的过程.
1900/1/1 0:00:00编辑:liurui@Web3CN.Pro21世纪最让打工人窒息的任务非“房贷”莫属,房价被炒至远远大于产品本身的价值,但有且仅有房子能够满足人们的居住需求.
1900/1/1 0:00:00提款来了!Shapella以太坊主网升级将在epoch194048处激活,定在北京时间2023年4月13日06:27:35来源:blog.ethereum.org作者:ProtocolSuppo.
1900/1/1 0:00:00「上海升级」定于2023年4月12日进行经过在第157次以太坊核心开发者会议上的讨论,以太坊开发者达成以下共识:包含「上海升级」的Shapella网络升级计划将于2023年4月12日22时27分.
1900/1/1 0:00:00