iPhone一键生成仿真头像 Meta新技术超震撼

论文封面

近日Meta的元宇宙部门Meta Reality Labs研发了一项3D人脸数据采集技术，该技术可用于创建VR世界的仿真头像，该论文已经被全球计算机图形领域最高会议SIGGRAPH 2022接收。

作者表示，他们发明了一种虚拟头像创建技术，这项技术只需要少量用户信息就可以生成一个可以进行实时表情互动的3D真人头像。

这项技术降低了用户创建虚拟头像的门槛，通过这项技术，用户只用一部智能手机就可以创建自己的3D头像。该技术在元宇宙领域有很大的应用潜力。

链接：https://paper.nweon.com/12381

一、降低技术门槛，用户可用iPhone创建头像

在Meta发明这项技术之前，现存的大部分建模技术都需要复杂的前提条件。像是需要专业设备采集数据，还要让采集对象前往专门的工作室等等。现存的有关真人头像建模的技术成本和门槛都较高，实现起来也很麻烦，这就导致了用户无法通过这些技术在VR应用里创建头像。

所以为了降低创建真实人物头像的门槛，Meta部门研发了这项技术。研究人员称，过去收集人脸信息需要170多个摄像头的设备，现在只需要一台带RGBD摄像头的智能手机（如iPhone12）。

据称，用户用智能手机扫描自己头部采集数据的过程平均耗时3.5分钟，但是六个小时后这个头像才能在云端上被完整地渲染出来。

▲用户只需要用手机即可采集头像数据

二、采集255个人脸数据，Meta简化人脸采集步骤

通过这项技术，用户可以用一部iPhone12（或其他智能手机）采集自己的人脸数据。采集数据的具体方法就是让用户拿着手机围绕自己的头部，按照上下左右的方向移动一圈。

总的来说，数据将会分成以下五个步骤处理：首先模型会收到手机传来的人脸信息，收到人脸信息后，模型会采集肤质、脸型、肤色、五官、雀斑等细节信息。采集细节后，模型会分割人物和背景，获得一个头像的轮廓图。获得轮廓图后，模型会对之前获取的图像纹理进行分解。最后，模型将分解的图像重组为完整的人脸。

用这种方法创建的3D人脸头像不仅与真人十分相似，而且还能够改变面部表情，进行实时互动。

▲头像合成的五个过程

研究人员称，采集数据的过程平均只需要3.5分钟。

这项虚拟头像创建技术让采集数据的过程变得轻松又简单，用户只需要用扫描自己的头部就可以创建3D虚拟头像。而且创建的3D虚拟头像与真人十分相似，非常适用于VR类应用程序。

值得一提的是，这项技术之所以能够把采集数据的过程简化到一步手机上，关键就在于一个被称为UPM（Universal Prior Model）的超网络（hypernetwork）。

研究人员会先搜集大量的人脸数据构建一个语料库，再用这个语料库来训练UPM超网络，然后这个超网络可以通过神经网络解码器产生专属于个人的头像参数，从而实现让用户依靠少量数据就可以创建头像。

Meta在2019年研发了一个巨型多视角摄像系统，该系统主要用于收集3D人脸数据。这个巨型系统配备了171个高分辨率摄像头，每秒能记录180GB数据。这个巨型系统采集了255位不同年龄、性别和种族参与者的面部图像数据。采集图像数据时，参与者需要根据指令模仿65种不同的面部表情、朝25个不同的方向注视、阅读50个音节平衡的句子等。

▲捕获人脸数据的巨型多视角摄像系统

在论文中，作者也将这种技术与其它先进的头像生成技术进行了比较。

视觉特效公司Pinscreen研发的技术可以将一张照片变成一个3D风格的卡通图像，但是论文中的这种虚拟头像技术生成的头像更加接近真人。

▲(a)(b)是Pinscreen公司的技术，(c)是Meta的技术

三、无法显示眼镜和长发，技术仍有缺陷

在论文中，作者也坦率地指出了目前这项技术的局限性。

首先，如下图所示，这项技术不能很好地显示带有眼镜和长发的模型。

▲带有眼镜和长发的模型显示不全

其次，这种方法不能实时创建头像，处理数据需要等待数个小时，处理时间较长。研究人员还认为，这种方法创建的模型存在一些微小的缺陷，例如模型上人脸的牙齿和服装的颜色显示怪异。此外，这种方法目前只能创建头像，无法创建完整的身体、手等部位，甚至难以创建一些具有挑战性的发型。

结语：一键生成3D头像，Meta元宇宙技术有新突破

Meta的新技术降低了用户创建虚拟头像的门槛，通过这项技术，用户可以用一部手机轻松创建头像，拿到元宇宙入场的门票。

Meta一直致力于元宇宙领域的开发，技术成本和门槛的降低能够让越来越多的用户进入元宇宙，进而成为Meta的潜在客户。

这项新技术不仅有助于Meta在元宇宙的布局，也能够为元宇宙领域的其他公司带来新的启发，推动行业的发展。