月亮链 月亮链
Ctrl+D收藏月亮链
首页 > MATIC > 正文

AND:看不下去AI胡说八道,英伟达出手给大模型安了个“护栏”_mango币是什么东西

作者:

时间:1900/1/1 0:00:00

来源:量子位

作者:萧箫

大模型们胡说八道太严重,英伟达看不下去了。

他们正式推出了一个新工具,帮助大模型说该说的话,并回避不应该触碰的话题。

这个新工具名叫“护栏技术”,相当于给大模型加上一堵安全围墙,既能控制它的输出、又能过滤输入它的内容。

一方面,用户诱导大模型生成攻击性代码、输出不道德内容的时候,它就会被护栏技术“束缚”,不再输出不安全的内容。

另一方面,护栏技术还能保护大模型不受用户的攻击,帮它挡住来自外界的“恶意输入”。

数据:超过98%的Algorand的地址处于亏损状态:金色财经报道,根据加密分析平台IntoTheBlock数据显示,Layer 1权益证明协议Algorand(ALGO)目前有超过1640万个地址处于亏损状态,这一数字占到Algorand链上注册总地址数量的98%以上,其表现也落后于以太坊、Cardano、Solana和Avalanche等同行。(u.today)[2023/3/18 13:11:34]

现在,这个大模型护栏工具已经开源,一起来看看它的效果和生成方法。

防止大模型胡言乱语的三类“护栏”

根据英伟达介绍,目前NeMoGuardrails一共提供三种形式的护栏技术:

话题限定护栏、对话安全护栏和攻击防御护栏。

阿根廷共济会将发行NFT,利润用于当地慈善工作:金色财经报道,阿根廷共济会组织Grand Lodge of Free and Accepted Masons表示,其将发布77种数字艺术NFT藏品,利润会回馈给该分会支持的当地慈善机构。

根据公告,这是第一个由地方性Grand Lodge支持的官方NFT项目。据悉,共济会Grand Lodge是特定地区的兄弟共济会团体的管理实体。该系列包含与共济会历史和传说有关的图像,如黑白方格地板,罗盘符号等。77这一数字也与该组织传统密切相关。

该收藏品的网站声称,共济会正在利用这个收藏品,部分原因是为了“将慈善事业提高到该机构历史上一个新的和前所未有的规模”。(Cointelegraph)[2022/9/7 13:14:30]

话题限定护栏,简单来说就是“防止大模型跑题”。

大模型具备更丰富的想象力,相比其他AI更容易完成创造性的代码和文字编写工作。

Tezos联创:Celsius申请破产“不在意料之外”:7月15日消息,去中心化开源区块链平台Tezos的联合创始人Kathleen Breitman表示,加密市场目前发生的事情,比如数家公司申请破产,不应该让人感到意外。

在7月15日接受彭博科技采访时,Breitman引用了加密货币借贷平台Celsius的案例,指出根据加密货币市场的状况,可以预计到一些公司会做出申请破产的决定,因为一些实体建立在薄弱的基础上。

根据Breitman的说法,从长远来看,市场调整对淘汰没有生存机会的企业是有益的。她指出,有可能倒闭的实体的数量将会增加,这些实体是建立在没有实际意义的理论基础上的。

Breitman还提到了申请破产的三箭资本,指出该公司的商业模式存在风险,注定要失败。她称这种模式“非常糟糕”,没有生存的机会。(Finbold)[2022/7/15 2:16:12]

但对于特定场景应用如写代码、当客服而言,至少用户不希望它在解决问题时“脱离目标范围”,生成一些与需求无关的内容。

Ronin Network攻击者再次转出3000ETH至Tornado Cash:5月16日消息,据CertiK安全团队监测,Ronin Network攻击者再次转出3000ETH(价值约 610 万美元)至Tornado Cash。

钱包地址:0xe8b2b5a8a4174b256828fca0f40a8831521160e5[2022/5/16 3:18:34]

这种情况下就需要用到话题限定护栏,当大模型生成超出话题范围的文字或代码时,护栏就会将它引导回限定的功能和话题上。

对话安全护栏,指避免大模型输出时“胡言乱语”。

胡言乱语包括两方面的情况。

一方面是大模型生成的答案中包括事实性错误,即“听起来很有道理,但其实完全不对”的东西;

另一方面是大模型生成带偏见、恶意的输出,如在用户引导下说脏话、或是生成不道德的内容。

攻击防御护栏,即防止AI平台受到来自外界的恶意攻击。

这里不仅包括诱导大模型调用外部病APP从而攻击它,也包括黑客主动通过网络、恶意程序等方式攻击大模型。护栏会通过各种方式防止这些攻击,避免大模型瘫痪。

所以,这样的护栏要如何打造?

如何打造一个大模型“护栏”?

这里我们先看看一个标准的“护栏”包含哪些要素。

具体来说,一个护栏应当包括三方面的内容,即格式规范、消息和交互流。

首先是格式规范,即面对不同问题的问法时,规定大模型要输出的内容。

例如被问到“XX文章是什么”,大模型必须给出特定类型的“文章”,而非别的东西;被问到“谁发表了什么”,大模型必须给出“人名”,而非别的回答。

然后是消息定义,这里以“用户问候”话题为例,大模型可以输出这些内容:

最后是交互流的定义,例如告诉大模型,怎么才是问候用户的最好方式:

一旦问候用户的机制被触发,大模型就会进入这个护栏,规规矩矩地问候用户。

具体工作流程如下:首先,将用户输入转换成某种格式规范,据此生成对应的护栏;随后,生成行动步骤,以交互流指示大模型一步步完成对应的操作;最后,根据格式规范生成输出。

类似的,我们就能给大模型定义各种各样的护栏,例如“应对用户辱骂”的护栏。

这样即使用户说出“你是个傻瓜”,大模型也能学会冷静应对:

目前,英伟达正在将护栏技术整合进他们的AI框架NeMo中,这是个方便用户创建各种AI模型、并在英伟达GPU上加速的框架。

对“护栏”技术感兴趣的小伙伴们,可以试一试了~

标签:ANDRANREIMANLANDGRANX价格AUREImango币是什么东西

MATIC热门资讯
CHA:OP Research:Blockchain的AI变局_AIN

AI板块相关标的,不论是A股、美股还是Crypto,都迎来了暴涨。之后的时间里,随着ChatGPT被广泛使用,人们意识到其对整个世界的影响,不断有新的ChatGPT应用场景,以及同类型的产品迭代.

1900/1/1 0:00:00
OKB:“游戏+AI”的故事,“三七互娱们”还能讲多久?_以太坊最新价格行情走势图

来源:锌刻度,作者|陈邓新,编辑|高智 图片来源:由无界AI工具生成AI,成为游戏的重要一环。当AIGC大潮起,各行各业都面临竞争力重塑,游戏行业也不例外,大大小小的游戏企业纷纷加码,渴望抢占技.

1900/1/1 0:00:00
区块链:基础设施是游戏发展的关键(三):链上游戏好在哪里?_FIL

概述在上一篇文章中,我们提出了一个构建链上游戏的框架——ActionRegistryCore。在深入探讨ARC的复杂性之前,我们有必要先退一步,探讨一下构建链上游戏的初衷.

1900/1/1 0:00:00
WEB:Web3游戏全景图:各类玩家群像解读_WEB3.0

作者:lesley@footprint.network主要观点即使市场深陷寒冬,但web3游戏每天依然有八十万的用户.

1900/1/1 0:00:00
区块链:4月份Web3.0领域全球融资总额环比增8%至8.03亿美元,元宇宙游戏持续下滑_WEB3

来源:财联社记者徐赐豪 图片来源:由无界AI工具生成据财联社创投通统计,4月份全球Web3.0领域融资数量、金额环比3月份双双实现增长.

1900/1/1 0:00:00
NPC:AI成为了米哈游们的“必选项”_TIGC币

作者:胡描编辑:罗丽娟今年以来,游戏公司纷纷投资AI公司、成立AIlab、自建AI模型。无论是AIGC对游戏制作的降本增效,还是其冲破当前游戏工业化极限的可能性,都让游戏企业成为了新一轮AI浪潮.

1900/1/1 0:00:00