万维读者网 > 数码科技 > 正文  

一张照片生成3D头像!苹果新模型击败StyleGAN2

www.creaders.net | 2023-05-02 13:41:55  量子位 | 0条评论 | 查看/发表评论

一张照片生成3D头像!苹果新模型击败StyleGAN2

随便一张照片,就可生成3D头像。而且光线真实,任意角度可调。

这是苹果的最新黑科技生成框架FaceLit。

正如其名,FaceLit的特色就是可以将人脸“点亮”。

“自带光环”的FaceLit在易用性上也不输同类,甚至更胜一筹——

进行3D建模时,需要的照片素材无需专门选择角度,数量上也只需一张。

甚至对表情、发型、眼镜等元素进行调节时,也不需要额外素材。

而传统的头像合成工具或者需要多张图片才能工作,或者对照片角度有刁钻的要求。

正是凭借这一创新,FaceLit获得了3.5的FID评分,较同类产品直接高出了25%。

改进式EG3D合成人像,光线信息单独处理

下面就来看一下FaceLit具体是如何实现头像合成的。

总的来说,苹果采用了将人物本体与光线分别处理再进行叠加的策略。

早期的三维人像合成工具在转换过程中可能产生形变。

而爆火的NeRF通过将场景拆分成具体因素,提高了3D图像合成效果,改善了这一问题。

但苹果团队认为,在可控性方面,NeRF仍存有不足之处。

于是,在EG3D框架的基础上,苹果创造了FaceLit的合成模型。

EG3D通过三平面解码器,赋予了二维卷积神经网络生成渲染3D模型所需深度参数的能力。

苹果团队对标准的EG3D训练方式进行了扩展,并将之转化成了FaceLit框架。

alauae__002.png

△FaceLit与传统EG3D渲染流程对比图

标准的ED3G使用相机位置p参数作为基本输入参数。

在建立GAN2操作时,苹果在EG3D的基础上加入了光照参数l。

一张照片生成3D头像!苹果新模型击败StyleGAN2

△不同p(左→右)与l(上→下)值下的初始图像

苹果选择了经过球形谐波方式简化后的Phong反射模型作为处理光源的物理基础。

光照参数l就是在这一基础之上独立处理得到的。

在自然界中,反射包括镜面反射和漫反射两种形式。

alauae__004.png

△不同镜面反射率条件下的效果对比

因此,苹果在ED3G模型中加入了镜面反射解码器和漫反射解码器。

它们替代了可以直接得到颜色c、密度σ数据的三平面解码器。

alauae__005.jpeg

△反射解码器流程示意图

通过对GAN2产生的数据进行再次解码,可以得到镜面反射率ks和漫反射率kd。

然后再通过两种反射着色器得到颜色c,密度σ则由漫反射解码器计算得出。

最终,FaceLit以与三平面解码器相同的参数(c,w,σ)渲染图像,并进行分辨率优化。

有的放矢设计训练策略,数据无需人工标注

生成框架已有,那就来到训练阶段,其特点在于训练过程中无需人工标注。

方法论层面,在训练时,团队使用了FFHQ、MetFaces和CelebA-HQ数据集。

对于不同的数据集,苹果使用了不同的训练方式。

FFHQ包含了7万余条人脸数据,其训练分为两个阶段:先在较低的分辨率下训练,再提高分辨率再次进行。

对于包含2万数据量的CelebA-HQ,训练不需要分阶段进行。

而对于更小的MetFAces,则只需要通过ADA扩容的方式,使用预训练的FFHQ进行优化调整即可。

定性地看,训练结果在机位、光源和反射高光等方面都有出色的表现,图中的细节也有所增强。

一张照片生成3D头像!苹果新模型击败StyleGAN2

△FaceLit生成的头像(左侧四列)唇齿部位的细节进行了明显重构

定量结果同样表明,FaceLit在FID、KID等指标上均优于包括标准EG3D在内的传统生成方式。

在使用FFHQ作为训练集的条件下,各生成方式的表现如下表,不难看出FaceLit拥有最低的FID和KID值。

一张照片生成3D头像!苹果新模型击败StyleGAN2

而相比于英伟达的StyleGAN2,FaceLit的表现依旧出色:

alauae__008.png

光线准确度方面,FaceLit在使用三种不同训练数据集的情况下,与人工设定的标准值平均均方误差均低于0.01。

网友:人们低估了苹果AI

消息发出后,便有网友认为“这是对更重磅产品的预热”。

更有网友直接推测,FaceLit的出现标示着人工智能将进军AR和VR领域,苹果的混合现实将最终实现商用……

alauae__010.png

也有网友认为,FaceLit不会商用,否则苹果才不会以论文的形式发表。

一张照片生成3D头像!苹果新模型击败StyleGAN2

针对FaceLit本身,也有网友表示,除了LLM,其他都是浮云,他们(苹果)如果不开发LLM,就没有未来。

一张照片生成3D头像!苹果新模型击败StyleGAN2

但这位网友同时也说,苹果可能已经在做(LLM)了。

相应的,也有网友称人们“低估了苹果在AI领域的深度”。

alauae__013.png

所以各位网友对苹果在AI领域还有什么样的期待呢?

   0


当前新闻共有0条评论 分享到:
评论前需要先 登录 或者 注册
全部评论  
暂无评论 上一页 下一页  
实用资讯
24小时新闻排行榜 更多>>
1 习近平意外缺席 猜测声四起
2 保住雄安脸面 北京发起腾退运动 数百万人
3 突发!又一外企在华撤资
4 存款超百万将永久冻结?中国央行紧急发声
5 炮轰习近平!受宠的全国政协委员反了

48小时新闻排行榜 更多>>
1 两大失控事件 暴露中国落后程度
2 中国的巨变已无法遏制
3 江西出版社竟然这样咒骂习总 老区人民怒了
4 先抓他?这个大鳄比钟南山还大
5 中国新规:9月起永久冻结三类储户 更多细节
6 习近平意外缺席 猜测声四起
7 中共093型核潜舰台海失事全员罹难?专家这
8 重磅!传中共093型核潜舰台海意外 船员全数
9 保住雄安脸面 北京发起腾退运动 数百万人
10 闹大了!国家部委抓到了美国特务
热门专题
一周博客排行 更多>>
1 别再三耍弄百姓了!要真搞医疗 鹿见不平
2 台海战争将首当其冲的火箭军61 马黑
3 1.5个恒大的中植系暴雷了毛阿 体育老师
4 辞别再无相见日 人参花
5 加拿大 一个伟大领袖都没有, 旅泉
6 被称行走的50万,海外华人却依 金复新
7 何与怀:从当今大愚为治水“指 万维网友来
8 从领袖到人民公敌:齐奥塞斯库 赵大夫话室
9 更多的中国空军抗战英雄史料- 玉质
10 2023暑假回国-台湾转机篇 西顾
一周博文回复排行榜 更多>>
1 “系统性选举舞弊”是一场忽悠 右撇子
2 反共千万别把自己反成笑话 特有理
3 美国大选:得中间选民者得天下 随意生活
4 医疗反腐上为反而反的“治本” 特有理
5 8 月23 到10 月23有意外大事发 体育老师
6 体老是个实在人,网上敢说心里 特有理
7 谁能救中国? 施化
8 政治腐败才是政权合法性的条件 右撇子
9 北约试探:乌克兰割地入帮? 随意生活
10 社会黑白颠倒,你不得不狠毒, 体育老师
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2023. CyberMedia Network/Creaders.NET. All Rights Reserved.