ACE:一张照片生成 3D 头像！苹果新模型击败 StyleGAN2，表情光线都能调_ACES

来源：量子位

随便一张照片，就可生成3D头像。而且光线真实，任意角度可调。

这是苹果的最新黑科技生成框架FaceLit。

正如其名，FaceLit的特色就是可以将人脸“点亮”。

“自带光环”的FaceLit在易用性上也不输同类，甚至更胜一筹——

进行3D建模时，需要的照片素材无需专门选择角度，数量上也只需一张。

甚至对表情、发型、眼镜等元素进行调节时，也不需要额外素材。

而传统的头像合成工具或者需要多张图片才能工作，或者对照片角度有刁钻的要求。

正是凭借这一创新，FaceLit获得了3.5的FID评分，较同类产品直接高出了25%。

改进式EG3D合成人像，光线信息单独处理

下面就来看一下FaceLit具体是如何实现头像合成的。

Visa批准第一张用于消费比特币的实体借记卡:7月14日消息，悉尼科技大学的两位伙伴创建的一家初创公司已说服全球信用卡巨头Visa批准发行实体借记卡，该借记卡将允许CryptoSpend应用程序的用户通过在商店和酒吧中花费他们的比特币交易利润在现有的支付终端上。这是第一次可以使用在澳大利亚发行的借记卡支付加密货币，该借记卡运行在其中一个国际卡计划的网络上，并突出了Visa和万事达卡的全球举措，使比特币及其他数字货币更容易用来支付日常用品。（Financial Review）[2021/7/14 0:50:19]

总的来说，苹果采用了将人物本体与光线分别处理再进行叠加的策略。

早期的三维人像合成工具在转换过程中可能产生形变。

而爆火的NeRF通过将场景拆分成具体因素，提高了3D图像合成效果，改善了这一问题。

但苹果团队认为，在可控性方面，NeRF仍存有不足之处。

于是，在EG3D框架的基础上，苹果创造了FaceLit的合成模型。

EG3D通过三平面解码器，赋予了二维卷积神经网络生成渲染3D模型所需深度参数的能力。

苹果团队对标准的EG3D训练方式进行了扩展，并将之转化成了FaceLit框架。

国内第一张数字银行卡已经正式发行:8月15日，国内第一张数字银行卡已经正式发行。经中国人民银行营业管理部批准，百信银行通过虚拟发卡系统发行的首张数字银行卡正式亮相。据悉，这张由中国银联和百度公司、百信公司三方共同推出的银行卡，同时集合了借记卡和贷记卡的功能于一身，申请时就可以获取几千元到五万元不等的额度。由于该银行卡没有实体卡片，完全存在于数字网络中，因此在安全上也采取了更多的防范措施。（财华社）[2020/8/20]

△FaceLit与传统EG3D渲染流程对比图

标准的ED3G使用相机位置p参数作为基本输入参数。

在建立GAN2操作时，苹果在EG3D的基础上加入了光照参数l。

声音 | 哈佛经济学家：比特币不过是一张“彩票”:据CCN报道，前IMF首席经济学家、现任哈佛大学(Harvard University)经济学和公共政策教授肯尼斯?罗格夫(Kenneth Rogoff)认为，目前比特币和其他加密货币不过是“彩票”而已。罗格夫周一在《卫报》撰文称，尽管一些人认为加密货币已经风光不再，而且正在不可逆转地下滑，但实际上很难说它们的价值真的会跌至零。[2018/12/11]

不同p(左→右)与l(上→下)值下的初始图像

苹果选择了经过球形谐波方式简化后的Phong反射模型作为处理光源的物理基础。

光照参数l就是在这一基础之上独立处理得到的。

在自然界中，反射包括镜面反射和漫反射两种形式。

△不同镜面反射率条件下的效果对比

因此，苹果在ED3G模型中加入了镜面反射解码器和漫反射解码器。

动态 | 招商银行开具银行业第一张区块链电子发票:据财经网消息，今日，招商银行深圳分行在为客户办理贵金属购买业务后，通过系统直联深圳市税务局区块链平台，成功为客户开出了首张区块链电子发票。这标志着，招商银行成为首批通过系统直接接入深圳市区块链电子发票平台的机构，也成为全国首个区块链电子发票的试点银行。[2018/11/1]

它们替代了可以直接得到颜色c、密度σ数据的三平面解码器。

△反射解码器流程示意图

通过对GAN2产生的数据进行再次解码，可以得到镜面反射率ks和漫反射率kd。

然后再通过两种反射着色器得到颜色c，密度σ则由漫反射解码器计算得出。

最终，FaceLit以与三平面解码器相同的参数渲染图像，并进行分辨率优化。

有的放矢设计训练策略，数据无需人工标注

动态 | Reddit用户发起“比特币挑战” 一张图片隐藏310枚BTC:在国外论坛Reddit上，一名匿名用户于10月3日发起了一个寻找比特币的帖子，帖子名为“比特币挑战（Bitcoin Challenge）”。该挑战为一张带有密码的图片。用户宣称，该图片中隐藏着共计约310枚BTC（约合210万美金），谁最先找到密钥，就能获得这些比特币。 该图下方留下的文字显示，该用户发起这项挑战只是作为娱乐。据悉，在这幅图片中，这位匿名用户留下了4个比特币地址，这些地址的余额分别为0.1BTC、0.2BTC、0.31BTC以及310BTC。其中310BTC地址为：39uAUwEFDi5bBbdBm5ViD8sxDBBrz7SUP4。

截至目前，余额为0.1BTC的地址的密钥已经被找到。10月4号，一位名叫\"Lustre\"的人成功破解了这份画中的0.1BTC地址，并转走了其中的币。

此前消息，今年5月，网名为u/cryptogreetings的网友发布了一张神秘图片，为一道价值1 BTC的谜题。图片发布之后，尚未有人能够破解谜题。[2018/10/9]

生成框架已有，那就来到训练阶段，其特点在于训练过程中无需人工标注。

方法论层面，在训练时，团队使用了FFHQ、MetFaces和CelebA-HQ数据集。

对于不同的数据集，苹果使用了不同的训练方式。

FFHQ包含了7万余条人脸数据，其训练分为两个阶段：先在较低的分辨率下训练，再提高分辨率再次进行。

对于包含2万数据量的CelebA-HQ，训练不需要分阶段进行。

而对于更小的MetFAces，则只需要通过ADA扩容的方式，使用预训练的FFHQ进行优化调整即可。

定性地看，训练结果在机位、光源和反射高光等方面都有出色的表现，图中的细节也有所增强。

△FaceLit生成的头像唇齿部位的细节进行了明显重构

定量结果同样表明，FaceLit在FID、KID等指标上均优于包括标准EG3D在内的传统生成方式。

在使用FFHQ作为训练集的条件下，各生成方式的表现如下表，不难看出FaceLit拥有最低的FID和KID值。

而相比于英伟达的StyleGAN2，FaceLit的表现依旧出色：

光线准确度方面，FaceLit在使用三种不同训练数据集的情况下，与人工设定的标准值平均均方误差均低于0.01。

网友：人们低估了苹果AI

消息发出后，便有网友认为“这是对更重磅产品的预热”。

更有网友直接推测，FaceLit的出现标示着人工智能将进军AR和VR领域，苹果的混合现实将最终实现商用……

也有网友认为，FaceLit不会商用，否则苹果才不会以论文的形式发表。

针对FaceLit本身，也有网友表示，除了LLM，其他都是浮云，他们如果不开发LLM，就没有未来。

但这位网友同时也说，苹果可能已经在做了。

相应的，也有网友称人们“低估了苹果在AI领域的深度”。

所以各位网友对苹果在AI领域还有什么样的期待呢？

论文地址：https://arxiv.org/abs/2303.15437

GitHub地址：https://github.com/apple/ml-facelit

参考链接：https://twitter.com/AlphaSignalAI/status/1648361623004774400

标签：ACECELFACEELITACESCrypto ExcellenceNo Face InuElitium

币赢热门资讯