月亮链 月亮链
Ctrl+D收藏月亮链

AMA:两大可商用开源大模型同时发布!性能不输 LLaMA,羊驼家族名字都不够用了_区块链用大白话解释

作者:

时间:1900/1/1 0:00:00

来源:量子位

从Meta的LLaMA发展出的羊驼家族一系列大模型,已成为开源AI重要力量。

但LLamA开源了又没全开,只能用于研究用途,还得填申请表格等,也一直被业界诟病。

好消息是,两大对标LLaMA的完全开源项目同时有了新进展。

可商用开源大模型来了,还一下来了俩:

MosaicML推出MPT系列模型,其中70亿参数版在性能测试中与LLaMA打个平手。

Together的RedPajama系列模型,30亿参数版在RTX2070游戏显卡上就能跑。

Real Vision创始人:目前正处于牛市的中期,两大突破性进展是Defi和NFT:前高盛高管、Real Vision创始人Raoul Pal今日早些时候发推表示,很明显目前正处于牛市的中期。这次的两大突破性进展是Defi和NFT。当我们进入下一个下降周期时,这一领域将得到清理,赢家将为他们的大规模采用阶段做好准备。他表示,完全不知道BTC和ETH之外的哪些协议将会得到真正有意义的采用。Raoul Pal猜测,到2025年或更早时,加密用户将达到10亿。Diem将是所有这些的巨大催化剂。就用户而言,加密空间每年以113%的速度增长。即使减慢到互联网在同一阶段看到的网络采用率的63%增长,到2030年或更早时,它仍将导致40亿用户。[2021/5/14 22:01:50]

对于这些进展,特斯拉前AI主管AndrejKarpathy认为,开源大模型生态有了寒武纪大爆发的早期迹象。

欧科云链李炼炫:“信息壁垒”和实物上链是影响区块链落地的两大挑战:欧科云链研究院首席研究员李炼炫认为,“信息壁垒”和实物上链是当前影响区块链技术实际产业落地的两大挑战。一是存在“信息壁垒”,区块链技术要发挥作用,跨部门、跨领域是关键。但是,目前问题在于难以打通各部门、各企业之间的壁垒。如果各参与方不愿意共享数据,区块链就没有数据之源,形成“数据孤岛”。二是实物上链问题,即目前难以保证线下实物可真实准确地“上链”。打破这一壁垒,需要物联网等配套成熟技术的支撑。李炼炫提醒,在加速区块链产业应用过程中,需要注意哪些应用是区块链的真需求,哪些是假需求,要保证区块链技术能切实解决场景应用痛点,并注重“脱虚向实”,防止利用区块链技术进行炒作等。(经济参考报)[2020/10/15]

MPT,与LLaMA五五开

MPT系列模型,全称MosaicMLPretrainedTransformer,基础版本为70亿参数。

MPT在大量数据上训练,与LLaMA相当,高于StableLM,Pythia等其他开源模型。

HyperPay推出BTC和USDT两大定期限额理财产品:据HyperPay官方消息,HyperPay于6月23日正式上线USDT和BTC两大定期限额抢购理财产品,给用户提供更加多样的理财选择。

7天BTC理财产品,最小申购额度0.01BTC,活动总额20BTC;14天USDT理财产品最小申购500USDT,活动总额度1,000,000USDT。更多详情见原文链接。[2020/6/23]

支持84ktokens超长输入,并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。

在各类性能评估中,与原版LLaMA不相上下。

除了MPT-7BBase基础模型外还有三个变体。

动态 | 佛山两大技术应用转化中心利用区块链等技术开展学校企业间产学研合作:据中新网消息,2月20日,由佛山市禅城区政府、粤港澳大湾区经贸协会等组织联合共建的“佛山全球创新技术应用转化中心(香港分中心)”和“粤港澳大湾区创新技术应用转化中心”举行揭牌仪式。据悉,两个中心将运用“互联网+”、“区块链+”等核心技术,开展学校与学校、学校与企业产学研技术合作,为粤港澳大湾区企业提供一个集创新信息传播、服务资源对接、科技成果展示、技术服务、技术交易等于一体的高新技术孵化及成果转化公共服务平台、产业投资基金服务平台、技术交易平台。[2019/2/22]

MPT-7B-Instruct,用于遵循简短指令。

MPT-7B-Chat,用于多轮聊天对话。

MPT-7B-StoryWriter-65k+,用于阅读和编写故事,支持65ktokens的超长上下文,用小说数据集微调。

MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。

嘉御基金卫哲:资本市场存在两大泡沫 我完全不看好ICO和比特币:从2011年嘉御基金成立之后,卫哲一直以投资人的身份出现。在近日的采访中,卫哲也表达了关于投资和区块链等热门技术的看法。他表示,商业的本质上是有一个产品/项目给公开市场,国内有专门的监管部门,国外有分析师把控项目质量,ICO不管用什么技术,请问它将用什么技术评估项目质量,所有ICO无法解决项目的质量判断,这也会造成企业和投资人之间巨大不对称。在这种情况下,99.99%的ICO项目都是不成立的。我完全不看好。[2018/3/13]

该公司致力于降低训练神经网络的成本,推出的文本和图像生成推理服务成本只有OpenAI的1/15。

RedPajama,2070就能跑

RedPajama系列模型,在5TB的同名开源数据上训练而来。

除70亿参数基础模型外,还有一个30亿参数版本,可以在5年前发售的RTX2070游戏显卡上运行。

目前70亿版本完成了80%的训练,效果已经超过了同规模的Pythia等开源模型,略逊于LLamA。

预计在完成1Ttokens的训练后还能继续改进。

背后公司Together,由苹果前高管VipulVedPrakash,斯坦福大模型研究中心主任PercyLiang,苏黎世联邦理工大学助理教授张策等人联合创办。

开源模型发布后,他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。

OneMoreThing

来自南美洲的无峰驼类动物一共4种,已被各家大模型用完了。

Meta发布LLaMA之后,斯坦福用了Alpaca,伯克利等单位用了Alpaca,JosephCheung等开发者团队用了Guanaco。

以至于后来者已经卷到了其他相近动物,比如IBM的单峰骆驼Dromedary,Databricks的Dolly来自克隆羊多莉。

国人研究团队也热衷于用古代传说中的神兽,如UCSD联合中山大学等推出的白泽。

港中文等推出的凤凰……

最绝的是哈工大基于中文医学知识的LLaMA微调模型,命名为华驼。

参考链接:

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

标签:AMA区块链LAMALlamaMetaMAFIA区块链用大白话解释BABYLLAMABABYLLAMA

火币网下载官方app热门资讯
比特币:数据分析:日交易笔数创新高 比特币链上交易创纪录_solana币今日价格

作者:RafaelSchultze-Kraft,Glassnode创始人兼CTO编译:Felix,PANews比特币链上交易的数量最近出现了惊人的增长,单日交易超过50万笔.

1900/1/1 0:00:00
OLIVE:“Hololive”在日本成功上市,虚拟偶像如何成为元宇宙产业破圈的“ChatGPT”_Holo

来源:新浪新闻2022年11月30日,总部位于美国加利福尼亚州旧金山的OpenAI发布了一个名为ChatGPT的自然语言生成式模型,提供以对话方式进行的交互服务.

1900/1/1 0:00:00
BRC:BRC-20横空出世 盼了14年的比特币生态终于来了_ordi币发行价

如果BRC-20助力比特币实现生态拓展,那么很大的共识会回到比特币本身,这就会对其他项目造成影响。 长期以来,比特币链上生态在大家眼里就是一件不可能的事情.

1900/1/1 0:00:00
AMP:AI中的明牌与暗牌_DASH

明牌与暗牌今天任何能轻易想到的idea,都是明牌,上来就摊牌比经验值,武力值,和血条了,比如大家讨论最多的AI助手,虚拟老师,AI客服,文案生成等等.

1900/1/1 0:00:00
BRC:BRC热潮,是散户“最后的狂欢”吗?_ordi币论坛

原文作者:Cookie,BlockBeats每年一度的「meme季」它又又又又来了。这是一个充满焦虑的「季节」.

1900/1/1 0:00:00
SUI:Sui很优秀 但没有区块也没有链 它只能是Web3世界的外围_WEB

作者:北辰上周在《Sui是下一轮的行业叙事or上一轮的末日余晖?》的文章中的观点引发的讨论比较多,本来想用一篇文章来「小心求证」,但发现是给自己挖了一个大坑,后面才是慢慢填坑的时候.

1900/1/1 0:00:00