GPT:OpenAI用GPT-4解读GPT-2，看来能打败魔法的，只有魔法_GPTG币

来源丨元宇宙简史

作者丨元宇宙简史编辑Eco

OpenAI最新研究利用GPT-4自动进行大语言模型中神经元行为的解释和评分，并将其应用于另一种语言模型GPT-2，公开了这些GPT-2神经元解释和分数的数据集。这项技术让人们能够利用GPT-4来定义和自动测量AI模型的可解释性，从而更好地理解智能是如何工作的。

大语言模型是基于大量文本数据训练，包含数千亿或更多参数的语言模型。

在大数据时代，这类AI机器学习模型可以在提升产品销售、辅助人类决策过程中起到很大的作用。

但是计算机通常不会解释它们的预测结果，而语言模型想要变得更强大、部署更广泛，就需要研究可解释性，因为人类对模型内部工作原理的理解仍然非常有限，例如可能很难从中检测到有偏见、性内容输出。

电竞选手Mongraal已将“吉米钥匙”上架OpenSea，售价2222 ETH:2月16日消息，BAYC官方确认知名电竞选手及主播@Mongraal在Dookey Dash游戏中获得“猴子吉米钥匙”后，@Mongraal已将该NFT Sewer Pass #21915以2,222 ETH的价格在OpenSea上架，按照当前价格计算超过370万美元。

BAYC成员及Mutant Cartel创始人Lior.eth在社交媒体评论称，对于这个热门NFT系列中的顶级资产来说，这个价格看似合理。另据OpenSea的报价数据显示，截至目前对该NFT的最高报价是222 WETH。[2023/2/16 12:10:54]

可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。

例如，如果有一个针对“漫威超级英雄”的神经元，当用户向模型提问“哪个超级英雄的能力最强”时，这个神经元就会提高模型在回答中说出漫威英雄的概率。

Slope回应：未在集中式服务器上存储个人数据，仍在调查具体原因:8月4日消息，针对Solana生态钱包大规模攻击事件，Slope发布公告称，根据目前了解的情况，很多Slope钱包遭到入侵，Slope许多员工和创始人的钱包也被盗了。Slope关于攻击事件起因有一些假设，但尚未确定。Slope正在积极开展内部调查和审计，与顶级外部安全和审计团队合作；正与整个生态系统中的开发人员、安全专家和协议合作，努力识别和纠正这些问题。

Slope建议所有用户采取以下措施：创建一个新的、独立的种子短语钱包，并将所有资产转移到新钱包。同样，不建议在新钱包上使用与Slope上相同的种子短语。硬件钱包仍然是安全的。

此外，Slope的公告没有说明是否可能与私钥存储问题有关。一位Slope代表告诉CoinDesk，“我们不会在集中式服务器上存储任何个人数据。”

据此前报道，Solana?Labs首席执行官Anatoly Yakovenko最初在推特上表示，他怀疑该漏洞可能与Apple iOS供应链攻击有关，但后来将源头缩小到对Slope集中式服务器的黑客攻击，其中私钥似乎以纯文本形式存储。Twitter 上的其他开发人员也推测，Slope将私钥以明文形式存储在集中式服务器上，而攻击者已将其破坏。（CoinDesk）[2022/8/4 2:57:58]

站在OpenAI的角度看，大模型未来将和人脑一样拥有“神经元”，这些神经元会观察文本中的特定规律，进而影响到模型本身生产的文本。

opensea-SOS发布最新提案，投票决定无人认领的SOS的去向:金色财经报道，opensea-SOS发布最新提案，由于gas高于币价，或者钱包丢失还有大约18%空投无人认领，该决议建议的优势为：

1.激励无人认领的钱包来认领，并参与OpenDAO。

2: 清除关于开发者能够创建签名以给予某些地址空投的考虑，其目的是将所有无人认领的SOS代币转移到DAO muti-sig。

3: 社区可以投票决定无人认领的SOS代币的去向，如果这个提议通过，将会有另一次投票决定我们如何处理无人认领的SOS。

该决议缺点为：

1.可能失去潜在的50万用户（可能由于gas高于币价，或者钱包丢失）。

2.有领取空头资格的人记住2022年7月30日的期限，因此没有即使关注后续社区的议案和治理方案（即没有关注到空头领取期限已经缩短，进而没能按原定期限内领取空投）.

据悉，该投票开始日期为1月3日15:00，结束日期为1月4日16:00。目前给一个星期提醒投票数超过60%[2022/1/4 8:23:56]

所以可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。

OpenSea 8月1日总交易额超过5374万美元:Dune Analytics数据显示，OpenSea 8月1日总交易额超过5374万美元，创历史新高。[2021/8/2 1:28:44]

为了实现这个目标，OpenAI最近发布了一个关于GPT-4语言模型解析神经元的对齐性研究成果，利用自研基于GPT-4技术的开源工具，来尝试计算其他架构、更简单语言模型上神经元的行为并对其进行评分。

而且，还可以将其应用于另一种语言模型中的神经元——本次选择4年前发布、包含307200个神经元的大模型GPT-2为实验样本，公开了这些GPT-2神经元解释和分数的数据集。

Torus推出支持微信、谷歌登录的密钥管理服务OpenLogin:4月20日消息，Web3.0登录服务提供商Torus宣布推出非托管式的公钥基础设施OpenLogin，可以提供基于PKI的认证工具和服务，在用户体验、隐私和安全方面可支持无密码认证的功能。

Torus表示，开发者只需要用十分钟集成SDK，就可以支持无密码认证或者其他互联网登录功能，比如Google、微信、Twitter、Github、邮件等。[2021/4/20 20:40:46]

“我们迈出了使用AI进行自动化对齐研究的重要一步。”OpenAI联合创始人GregBrockman表示。

具体来说，OpenAI开发了一套包含自动化工具和测试方法的评估流程：

首先，研究人员让GPT-2运行文本序列，等待某个特定神经元被频繁“激活”；

然后，让GPT-4针对一段文本生成解释，例如通过GPT-4接收到文本和激活情况判断漫威是否与电影、角色和娱乐有关；

随后用GPT-4模拟GPT-2的神经元接下来会做什么，预测行为；

最后评估打分，对比GPT-4模拟神经元和GPT-2真实神经元的结果的准确度，在下图这个例子中，GPT-4的得分为0.34。

使用上述评分方法，OpenAI开始衡量他们的技术对网络不同部分的效果，并尝试针对目前解释不清楚的部分改进技术。例如，他们发现以下方式有助于提高分数：

-迭代解释。他们可以通过让GPT-4想出可能的反例，在根据其激活情况修改解释来提高分数；

-使用更大的模型来进行解释。随着解释模型能力的提升，平均得分也会上升。然而，即使是GPT-4给出的解释也比人类差，这表明还有改进的余地；

-改变被解释模型的架构。用不同的激活函数训练模型提高了解释分数。

OpenAI表示，他们正在将GPT-4编写的对GPT-2中的所有307,200个神经元的解释的数据集和可视化工具开源，同时还提供了OpenAIAPI公开可用的模型进行解释和评分的代码，从而希望学术界能开发出新的技术来提升GPT模型解释分数。

OpenAI还发现，有超过1000个神经元的解释得分至少为0.8分，这意味着GPT-4模型可以解释大部分人类神经元，同时目前GPT理解的概念似乎和人类不太一样。例如，他们发现了一些有趣但GPT-4并不理解的神经元。

这些神经元似乎对文本中的某些特征或模式有敏感度，但是GPT-4无法用简单的语言描述它们。OpenAI希望随着技术和研究方法的改进，进一步提高AI模型可解释性能力，从而更好地理解这些神经元的行为和意义。

对于本研究局限性，OpenAI表示，目前GPT-4生成的解释还不完美，尤其要解释比GPT-2更大的模型时，表现效果很差。

神经元复杂行为无法用简短的自然语言描述，OpenAI解释了神经元的这种行为，却没有试图解释产生这种行为的机制，而且整个过程算力消耗极大等。

OpenAI希望在未来的工作中可以解决上述这些问题，最终OpenAI希望使用模型来形成、测试和迭代完全一般的假设，从而比肩人类大脑的想法和行为，以及将其大模型解释为一种在部署前后检测对齐和安全问题的方法。

然而在这之前，OpenAI还有很长的路要走。

“我们希望这将开辟一条有前途的途径。”JeffWu表示，这一技术可以让其他人可以在此基础上构建并做出贡献的自动化方案，从而解决AI模型可解释性问题，很好地解释这些模型行为，比如AI如何影响人类大脑中的神经元等。

严正声明：本文为元宇宙简史原创，未经授权禁止转载！内容仅供参考交流，不构成任何投资建议。任何读者若据此进行投资决策，风险自担。

标签：GPTOPENPENNAIGPTG币Open Trading NetworkOPENAIERC价格NAI币

LTC热门资讯