撰文:KyleWiggers
来源:TechCrunch
图片来源:由无界AI工具生成
从历史上看,甚至在今天,记忆力差一直是阻碍文本生成式人工智能发挥作用的一个因素。正如《大西洋》杂志最近发表的一篇文章?所说,即使是像ChatGPT这样复杂的生成式文本人工智能,其记忆力也像金鱼一样。每次模型生成响应时,它只考虑到非常有限的文本量,因此它也无法总结一本书或审查一个主要的编码项目。
MKR短时突破1250美元,24小时涨幅13.35%:金色财经报道,行情数据显示,MKR短时突破1250美元,现报价1172美元,24小时涨幅13.35%,行情波动较大,请做好风险控制。[2023/7/21 11:08:49]
但Anthropic正试图改变这种状况。
今天,这家人工智能研究初创公司宣布,它已将Claude的上下文窗口从9000个token扩展到了10万个token。上下文窗口指的是模型在生成额外文本之前考虑的文本,而token代表原始文本。
BNBChain Builder Grant公布2月份获胜项目为Frank lin DAO和identity.com:3月21日消息,BNB Chain公布BNBChain Builder Grant计划2月份获胜项目,分别为Franklin DAO和identity.com。其中,Franklin DAO团队由该领域各种DeFi协议和项目的代表以及专注于开发、研究和投资的委员会组成,该团队计划为其成员提供有趣的教育体验。Identity.com是一个身份验证非营利组织,提供开源、去中心化的生态系统,其网关协议使经过验证的信息能够以合规和安全的方式在链上访问。
据悉,BNBChain通过BNBChainBuilderGrant捐赠计划每月投入最高50万美元定期支持潜力项目。[2023/3/21 13:16:47]
那么,这意味着什么呢?正如前面所提到的,具有小上下文窗口的模型往往会“忘记”即使是最近的对话内容--导致它们偏离主题。在几千字左右之后,小模型也会忘记最初的指示,只根据上下文窗口中的最后的信息来进行响应。
Binance将BUSD集成至Optimism网络,现已开放充提:2月2日,据官方公告,Binance已完成BUSD在Optimism网络上的集成,并已开放BUSD在Optimism网络上的存取款服务。用户现在可以在以太坊、BNB Chain、Avalanche、Polygon、TRON和Optimism网络上转移BUSD。[2023/2/2 11:43:33]
鉴于大上下文窗口的好处,找出扩展的方法已成为OpenAI等AI实验室的主要关注点,要知道,OpenAI将整个团队都投入到了这个问题上了。OpenAI的GPT-4在上下文窗口的大小方面保持着之前的领先地位,其规模最高可达32,000个token,而改进后的ClaudeAPI已然超越了这一数字。
美国10年期国债收益率2022年上涨238个基点:金色财经报道,美国10年期国债收益率2022年上涨238个基点,至少是1953年以来最大的年度涨幅;两年期美国国债收益率2022年全年上涨370个基点,这是自1972年开始定期发行以来的最大年度涨幅。[2022/12/31 22:17:25]
有了更强的“记忆力”,Claude应该能够相对连贯地交谈几个小时——甚至几天——而不是几分钟。也许更重要的是,它应该也不太可能偏离轨道。
在博文中,Anthropic对Claude增加上下文窗口的其他好处进行了介绍,包括该模型消化和分析数百页材料的能力。Anthropic称,除了阅读长文本,升级后的Claude可以帮助从多个文件甚至一整本书中检索信息,回答哪些需要跨文本的“综合知识”问题。
Anthropic列出了一些可能的用例:
对财务报表或研究报告等文件进行消化、总结和解释
根据公司的年度报告,分析其风险和机会
评估一项立法的优点和缺点
识别风险、主题和跨法律文件的不同论证形式。
阅读数百页的开发者文档,呈现技术问题的答案
通过将整个代码库放入上下文中并智能地构建或修改它来快速制作原型
“普通人可以在5个小时左右阅读10万个token的文本,然后可能需要大量的时间来消化、记忆和分析这些信息,”Anthropic继续说道。“Claude现在可以在不到一分钟的时间内做到这一点。例如,我们把《了不起的盖茨比》的全部内容输入进了Claude......并修改了其中一行,说Mr.Carraway是‘一个在Anthropic从事机器学习工具的软件工程师’。当我们要求Claude发现有什么不同时,它在22秒内就给出了正确答案。”
此外,Anthropic的合作伙伴AssemblyAI也进行了相关测试。在视频演示中,该团队用Claude-100k将一个长播客转录成58K单词,然后使用Claude进行总结和问答。该团队给出的评价是:insane!太疯狂了!
目前,更长的上下文窗口并不能解决围绕大型语言模型的其他与记忆有关的挑战。Claude,像其同类的大多数模型一样,无法将信息从一个会话保留到下一个会话。而且与人脑不同的是,它把每一条信息都视为同等重要,这使得它并不能成为一个特别可靠的叙述者。一些专家认为,解决这些问题将需要全新的模型架构。
不过,就目前而言,Anthropic似乎走在了前列。
2020年12月17日,金链盟与金融科技·微洞察联合发布了《数据要素视角下的产业区块链新机遇——2020年全球区块链发展趋势报告》.
1900/1/1 0:00:00Plasm官方表示,如果大家将ETH2.0定义为“ETH1.0+分片”,那么Plasm将在Polkadot上达成ETH2.0.
1900/1/1 0:00:00本文来自?Decrypt,作者:?LiamFrostOdaily星球日报译者:余顺遂摘要:区块链社交平台Kin的开发商Kik宣布将于12月15日开始将加密货币Kin迁移至Solana区块链.
1900/1/1 0:00:00金色财经记者Jessy近日,NFT借贷项目ParaSpace出现了内部纷争。经过梳理纷争对立双方的发言,金色财经记者发现,这是一场团队内部的权力争夺战,但也暴露了团队在运作过程中,确实也存在着并.
1900/1/1 0:00:00数链观察:Paypal的股价在12月14日星期一飙升至新的历史高点223.16美元。自11月12日以来,支付巨头为美国客户开始交易加密货币开辟了道路,股价已飙升了17%.
1900/1/1 0:00:00作者:英国税务总署金融服务近年来迅猛发展,其中包括加密资产的增长。新形式的加密资产和由它们支持的服务正在不断发展。2018年3月,时任财政大臣推出了政府的金融科技行业战略.
1900/1/1 0:00:00