STA:Stable Diffusion 团队放大招！新绘画模型直出 AI 海报，像素级生成_FLOKIBASEDAI

来源：量子位

开源AI绘画扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新开源模型DeepFloydIF，一下获星2千+并登上GitHub热门榜。

DeepFloydIF不光图像质量是照片级的，还解决了文生图的两大难题：

准确绘制文字。

以太坊证明服务EAS已集成OP Stack:7月30日消息，以太坊证明服务（Ethereum Attestation Service）已完成OP Stack原生集成。未来所有OP Stack链部署都将自动包含创世EAS合约。

EAS表示，集成至OP Stack将使信任证明成为超级链（SuperChain）中的基本要素，不仅将促进超级链中证明实践的采用，还将设定信息验证和信任建立的新标准。[2023/7/30 16:07:02]

以及准确理解空间关系。

网友表示，这可是个大事，之前想让Midjourneyv5在霓虹灯招牌上写个字AI都是瞎划拉两笔，对于镜子理解的也不对。

Blockdaemon用户可通过Astar Network启动收集节点:金色财经报道， Astar Network 宣布，它已整合区块链基础设施公司 Blockdaemon。该合作伙伴关系将使 Blockdaemon 的机构和个人用户能够通过 Astar Network 启动他们自己的收集节点。Blockdaemon 的产品和工具套件包括区块链技术的总“节点堆栈”，使任何符合条件的项目都可以访问 Astar 网络。 Blockdaemon 的全节点支持为 Astar dApp 开发人员和机构提供了一个关键的入口。（cryptonews）[2022/8/25 12:47:36]

Balancer加入Vesta Finance激励计划:2月13日消息，抵押借贷协议Vesta Finance发推称，合作伙伴Balancer已加入其激励计划，每周将向Balancer上的VSTA-ETH池释放1000枚BAL（约1.3万美元）。BAL激励将在2月14日星期一UTC时间00:00开启。

目前的VSTA-ETH池质押者不需要做任何事情，因为Balancer的奖励系统将直接向那些在Vesta Finance质押合约中质押的用户发放奖励。[2022/2/13 9:49:13]

使用DeepFloydIF，可以把指定文字巧妙放置在画面中任何地方。

霓虹灯招牌、街头涂鸦、服饰、手绘插画，文字都会以合适的字体、风格、排版出现在合理的地方。

Gate.io 将于5月24日开启Startup项目NMT:据官方公告，Gate.io将于5月24日12:00 至5月24日18:00开启Startup项目NFTMart（NMT）认购通道，6小时内有效下单同等对待。用户需要达到VIP1和以上级别才能参与认购，VIP等级越高的用户认购额度越高。用户下单后到结束认购后2小时内，请务必保证现货交易账户中有不低于认购金额的足够金额，金额不足将自动排除在有效订单之外。认购结果将于5月24日20:00公布。[2021/5/18 22:14:30]

这意味着，AI直出商品渲染图、海报等实用工作流程又打通一环。

还在视频特效上开辟了新方向。

STAR开启IGO后 累计在交易所注册人次近10万人:据悉，自STAR全面启动全球IGO(Initial Game Offering)之后，通过阿波罗交易所专属邀请码显示：参与STAR注册人次近10万人，其中海外注册用户占比约60%且正在持续上升中。

STAR是Interstellar(i-stellar.io)公链运行所消耗的代币，总量2亿，将最终销毁至1亿。STAR将主要围绕游戏的高性能、不可篡改、预言机、去中心化竞拍及博弈重点开发。在IGO的过程中边发行边销毁，从而保持一定的通缩率，在销毁至1亿时将升级为DPoS主网。[2020/8/11]

目前DeepFloydIF以非商用许可开源，不过团队解释这是暂时的，获得足够的用户反馈后将转向更宽松的协议。

有需求的小伙伴可以抓紧反馈起来了。

像素级图像生成

DeepFloydIF仍然基于扩散模型，但与之前的StableDiffusion相比有两大不同。

负责理解文字的部分从OpenAI的CLIP换成了谷歌T5-XXL，结合超分辨率模块中额外的注意力层，获得更准确的文本理解。

负责生成图像的部分从潜扩散模型换成了像素级扩散模型。

也就是扩散过程不再作用于表示图像编码的潜空间，而是直接作用于像素。

官方还提供了一组DeepFloydIF与其他AI绘画模型的直观对比。

可以看出，使用T5做文本理解的谷歌Parti和英伟达eDiff-1也都可以准确绘制文字，AI不会写字这事就是CLIP的锅。

不过英伟达eDiff-1不开源，谷歌的几个模型更是连个Demo都不给，DeepFloydIF就成了更实际的选择。

具体生成图像上DeepFloydIF与之前模型一致，语言模型理解文本后先生成64×64分辨率的小图，再经过不同层次的扩散模型和超分辨率模型放大。

在这种架构上，通过把指定图像缩小回64×64再使用新的提示词重新执行扩散，也实现以图生图并调整风格、内容和细节。

并且不需要对模型做微调就可直接实现。

另外，DeepFloydIF的优势还在于，IF-4.3B基础模型是目前扩散模型中U-Net部分有效参数是最多的。

在实验中，IF-4.3B取得了最好的FID分数，并达到SOTA。

谁是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的独立研发团队，深受摇滚乐队平克弗洛伊德影响，自称为一只“研发乐队”。

主要成员只有4人，从姓氏来看均为东欧背景。

这次除了开源代码外，团队在HuggingFace上还提供了DeepFloydIF模型的在线试玩。

我们也试了试，很可惜的是目前对中文还不太支持。

原因可能是其训练数据集LAION-A里面中文内容不多，不过既然开源了，相信在中文数据集上训练好的变体也不会太晚出现。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在开源上的唯一动作

语言模型方面，他们也推出了首个开源并引入RLHF技术的聊天机器人StableVicuna，基于小羊驼Vicuna-13B模型实现。

目前代码和模型权重已开放下载。

完整的桌面和移动界面也即将发布。

DeepfloydIF在线试玩：

https://huggingface.co/spaces/DeepFloyd/IF

代码：

https://github.com/deep-floyd/IF

StableVicuna在线试玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

权重下载：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

参考链接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

标签：STAFLODEEPPFLThorstarterFLOKIBASEDAIDeepCloud AIPFL币

Uniswap热门资讯