5年秘密研发！终于等到谷歌3D“魔镜”实测

谷歌酝酿了5年的3D电话亭聊天室，将要启动实测了！

进入元宇宙，只能靠头显吗？

非也。让我们的想象力再放飞一点。

巨头谷歌给出了另一种方案：不用头显，用3D“电话亭”！

谷歌在去年官宣了Project Starline项目。它是一个视频通话亭，使用3D图像、高分辨率相机、定制的深度传感器和突破性的光场显示。

这为屏幕两边的通话者创造了极其逼真的体验。

时隔一年，谷歌全息视频聊天项目Project Starline将在今年晚些时候在合作伙伴办公室安装原型，完成最初测试。

裸眼3D

Starline是谷歌在元宇宙中布下的两枚棋子之一（另一枚是AR眼镜Iris）。

这个项目，谷歌已经酝酿了五年多了。

2021的I/O大会上，谷歌官宣了一个超高分辨率视频聊天室Project Starline项目。

以往，skype或zoom之类的传统视频聊天软件并不能克服感官上的距离感。和你聊天的人，是以2D平面的形式出现在你对面。而ta的声音，也明显是从手机、平板或是电脑中传出来的。

这种“音画分离”的体验，并不真实。

有没有可能彻底消除这种“距离感”？

谷歌提出了这样一个问题，“可不可以把Zoom变成一个巨大的坐式街机？”他们成功了。

耗时五年，谷歌研发出了一款黑科技——Starline3D视频通话技术。

这一技术有两大亮点：一个是真实，另一个是无需佩戴任何设备。

一个65寸的光场显示屏，外加预先布置的十几个传感器和摄像头，就构成了这样一个聊天室。

看起来，效果相当真实。

这么真实的人物外貌，是被摄像头和传感器拍下来，直接显示在对方的显示屏上的吗？

并不是。每一个摄像头和传感器的作用，是通过不同角度捕捉人像，利用深度学习进行实时压缩，把这些数据传输到对面，在显示屏上重建成3D化身。

也就是说，在这个电话亭里，你看到的是对人像的“重建”。

这种实时重建的人物影像，让彼此的感受变得无与伦比的真实。就好像和自己聊天的人，真真切切地坐在自己对面一样。

这些采集到的数据的传输，和与普通的视频会议一样，都是基于WebRTC，而谷歌独特的压缩算法使得双向实时传输3D影像成为可能。

通过视频聊天连接传输3D化身，让谷歌能够解决眼神接触的问题。在普通的视频聊天中，这一直是个麻烦。在以往，显示器上面的网络摄像头使得人在看显示器时不可能有眼神接触，而3D化身可以弥补摄像头中心和显示器中心之间的脱节，使双方有眼神接触。

谷歌正在一个强大的双Xeon工作站中处理这些数据，这个工作站有四个英伟达GPU（两个Quadro RTX 6000和两个Titan RTX）。

Starline的另一大特点是不需要佩戴任何设备。

是的，你没听错，VR头显、智能眼镜，通通不需要！

甚至，在谷歌此前发布的概念图上，摄像头和传感器都放在一张桌子里。

稍加装饰之后，你甚至会产生这样一种错觉：眼前是你的书桌，而和你聊天的人就坐在书桌对面。

根据谷歌给出的技术图，这一套设备包括：一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元，和包含红外背光并用作bench seat的背光单元。两个单元都包含向墙壁和天花板倾斜的白色LED灯条，用于产生柔和的反射照明。

显示器是一个 65 英寸、8 K、60 Hz的自动立体透镜面板，就是在它上面生成真人大小的裸眼3D视图化身。

而捕获子系统由三个同步立体的RGBD捕获pod组成：两个在显示器上方，一个在显示器下方的“中墙”(middle wall)中。

更下方的pod包括一个额外的彩色相机，用于放大拍摄对象的脸部。另外，四个单色追踪摄像头中的两个在显示器上方，其余两个一侧一个，用于捕捉眼睛、耳朵和嘴巴的高速广角图像。

渲染的方式如下图所示。

而pod就是上述提到的RGBD捕获装置。

这样渲染出的人物影响，更加逼真，栩栩如生。

Starline还配备了高级的声音系统。

这套系统使用了talker-tracked波束成形、混响消减、WebRTC传输、talker/listener-tracked虚拟音频合成、双耳串扰消除分频组合、振幅平移、空间化音频和动态波束成形等技术。

有了这些技术的加持，就仿佛通话的两个人在面对面说话一样。

去年，谷歌工程师表示，这套设备在标准办公网络环境下就可以运行。看来Starline技术是被寄望于广泛推广的。

当时，谷歌并未披露有关价格的更多细节。

很难想象这个7*7英尺、大小如同一个浴室的六位数电话亭有多大市场，但谷歌正在推进更多的测试。

不要“抱脸虫”

时至今日，这一项目进展如何？

Google Cloud Next 2022上，谷歌CEO桑达尔·皮查伊介绍了在全息视频聊天项目（Project Starline）上取得的一些进展。

谷歌称，它将在选定的合作伙伴办公室进行定期测试，其中就包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health。

WeWork 和 Salesforce表示，他们有兴趣尝试这项技术，并认为这项技术可以让人与人之间的联系变得更有意义。

到目前为止，Starline项目已经在谷歌内部进行了数千小时的测试，并在其美国办公室每天使用。

谷歌在一份声明里说：“今天，在美国各地的谷歌办事处都可以找到Starline项目的原型，员工每天都在使用该技术进行会议。”

当这一项目推向实测后，便可以了解这种技术将如何在现实世界中使用，以及它可能面临什么样的挑战。

许多人认为其非常炫酷，但也有人质疑Starline项目是否最终能够成为职场人士日常生活一部分。

面对广阔的企业会议设备市场，Starline确实有一些空间。但一些限制使得Starline难以用于严肃的会议。企业会议设备通常适用于坐在桌旁的一大群人，广泛的兼容性使得任何人都可以使用几乎任何硬件来发起会议。

然而Starline仅支持一个人进行一对一聊天，恐怕只能用于打总统电话？

近日，谷歌曾邀请一位记者对Starline进行体验测试。这位记者描述如下：

“整个过程感觉比Zoom通话要自然得多。对方的动作和我们的谈话都没有明显的延迟，所以说话就像在说话。没有任何奇怪的音频或视觉延迟。”

“我会相信我真的和某人在一起，因为我正在与全尺寸的虚拟人进行真正的眼神交流，而不是眯着眼睛看着一个小小的Zoom窗口。”

Starline之所以如此令人信服的部分原因在于，你不仅在看屏幕，而且在看屏幕前的一系列镜头，或者说透镜阵列。这个原理类似于全息卡，当你来回摇晃它们时，它可以显示不同的图像或3D效果。而Starline会通过跟踪你的眼睛，来了解将显示给你的图像指向何处。

最后，这位记者总结道：“它对于一对一的对话很有用，尤其是医生办公室或需要服务客户的地方。”

一直以来，Starline项目在谷歌的长期地位一直不为人知。

一年前，这一项目还进行了重组，谷歌将其AR/VR技术和内部研发团队Area 120重新组建为“Labs”团队。

而在上个月，谷歌还将Area 120人员数量削减了一半。

这表明，在当前的经济环境下，谷歌可能不会把这类试验视为优先事项。即便是一些谷歌内部员工也不确定Project Starline是否还存在。

即便是这样，Starline依然让人振奋，是对另一种虚拟现实的押注。

人们并不需要Avatar，仅通过真实自我就可以实现在虚拟世界中的连接。

前几天，Meta还推出了自家最贵的高端头显Quest Pro。

而谷歌没有像Meta现在所做的那样，开发利用摄像头来实现眼睛和脸部运动追踪的技术。

也没有研究如何在虚拟现实中为你的身体“加个腿”，而是致力于呈现一个真实的人。

最重要的是，不用像个“抱脸虫”一样戴在脸上，增加负担。

与此同时，随着越来越多的企业试图找到工作模式的混合未来，而Starline正好可以弥补现如今2D视频聊天的差距。

2024，携首款AR头显上市

其实，在AR头显上的布局，谷歌也不甘落后。

今年年初，两位知情人士透露，谷歌已开始加紧研发AR头显，内部代号为Project Iris，希望在2024 年上市。

并且谷歌希望在2024年之前与Iris一起发布Starline。

最新Iris头显将采用谷歌最新处理器，全自研的Tensor芯片，而且还支持在安卓系统上运行。

至于全新的操作系统，也在谷歌未来研发计划中。

这款AR设备使用外向摄像头将计算图形与现实世界融合，创造出比Snap和Magic Leap等现有AR眼镜更身临其境的混合现实体验。

由于电量的限制，谷歌会使用其数据中心去远程渲染一些图形，并通过互联网连接将它们传送到AR眼镜中。

Project Iris项目，可以说，是谷歌AR眼镜研发的一个转折点。

早在2012年，谷歌就发布了一款AR眼镜的原型机。类似于一副滑雪护目镜，而且不需要与外部电源连接。

随着一波硬件和软件的升级，2014年成功登陆美国市场，售价1500美元。然而，在2015年却因为各种负面新闻被迫下架。

紧接着，2015年，谷歌在其I/O大会上发布了一款“VR眼镜盒子”。其装置非常简单，主要由一块硬纸板与两块特殊的塑料镜片组成。

到了2017年，谷歌决定将AR眼镜的应用转向工业。

尽管急于追赶，但谷歌在打造新形式的AR硬件方面似乎落后于同行。

此后，谷歌在AR眼镜的硬件研发上明显保持沉默，并且选择专注于研发Google Lens、视觉搜索引擎和谷歌地图中的AR方向相关的软件功能。

随着2021年元宇宙概念大爆发，许多大厂纷纷在该赛道上展开布局。

其实，谷歌也在悄悄下自己的这盘棋。不论是AR头显Iris，还是全息视频通话项目Starline。

小扎曾在采访中说：“VR 的魔力在于，它可以立即让你相信你在另一个地方，并且和那里的人在一起。”他的构想是全息图，而Starline也正好英雄所见略同了。

现在，世界上最大的两家科技公司正在努力改善虚拟形象，虽然方法不同：Meta正全力以赴地提出元宇宙的概念，而Google 正在努力接管企业。

对于大多数人来说，聊天室和昂贵的混合现实显示器既不实用也不理想，但真正起飞的东西，可能会发生在两者之间的某个地方。