万维读者网 > 数码科技 > 正文  

5年秘密研发!终于等到谷歌3D“魔镜”实测

www.creaders.net | 2022-10-14 10:29:44  新智元 | 0条评论 | 查看/发表评论

5年秘密研发!终于等到谷歌3D“魔镜”实测

谷歌酝酿了5年的3D电话亭聊天室,将要启动实测了!

进入元宇宙,只能靠头显吗?

非也。让我们的想象力再放飞一点。

巨头谷歌给出了另一种方案:不用头显,用3D“电话亭”!

如果你平时用惯了skype或者zoom,第一次见到starline时,你一定会大吃一惊。

谷歌在去年官宣了Project Starline项目。它是一个视频通话亭,使用3D图像、高分辨率相机、定制的深度传感器和突破性的光场显示。

这为屏幕两边的通话者创造了极其逼真的体验。

时隔一年,谷歌全息视频聊天项目Project Starline将在今年晚些时候在合作伙伴办公室安装原型,完成最初测试。

裸眼3D

Starline是谷歌在元宇宙中布下的两枚棋子之一(另一枚是AR眼镜Iris)。

这个项目,谷歌已经酝酿了五年多了。

2021的I/O大会上,谷歌官宣了一个超高分辨率视频聊天室Project Starline项目。

5年秘密研发!终于等到谷歌3D“魔镜”实测

以往,skype或zoom之类的传统视频聊天软件并不能克服感官上的距离感。和你聊天的人,是以2D平面的形式出现在你对面。而ta的声音,也明显是从手机、平板或是电脑中传出来的。

这种“音画分离”的体验,并不真实。

有没有可能彻底消除这种“距离感”?

谷歌提出了这样一个问题,“可不可以把Zoom变成一个巨大的坐式街机?”他们成功了。

耗时五年,谷歌研发出了一款黑科技——Starline3D视频通话技术。

这一技术有两大亮点:一个是真实,另一个是无需佩戴任何设备。

一个65寸的光场显示屏,外加预先布置的十几个传感器和摄像头,就构成了这样一个聊天室。

看起来,效果相当真实。

这么真实的人物外貌,是被摄像头和传感器拍下来,直接显示在对方的显示屏上的吗?

并不是。每一个摄像头和传感器的作用,是通过不同角度捕捉人像,利用深度学习进行实时压缩,把这些数据传输到对面,在显示屏上重建成3D化身。

5年秘密研发!终于等到谷歌3D“魔镜”实测

也就是说,在这个电话亭里,你看到的是对人像的“重建”。

这种实时重建的人物影像,让彼此的感受变得无与伦比的真实。就好像和自己聊天的人,真真切切地坐在自己对面一样。

5年秘密研发!终于等到谷歌3D“魔镜”实测

这些采集到的数据的传输,和与普通的视频会议一样,都是基于WebRTC,而谷歌独特的压缩算法使得双向实时传输3D影像成为可能。

通过视频聊天连接传输3D化身,让谷歌能够解决眼神接触的问题。在普通的视频聊天中,这一直是个麻烦。在以往,显示器上面的网络摄像头使得人在看显示器时不可能有眼神接触,而3D化身可以弥补摄像头中心和显示器中心之间的脱节,使双方有眼神接触。

5年秘密研发!终于等到谷歌3D“魔镜”实测

谷歌正在一个强大的双Xeon工作站中处理这些数据,这个工作站有四个英伟达GPU(两个Quadro RTX 6000和两个Titan RTX)。

Starline的另一大特点是不需要佩戴任何设备。

是的,你没听错,VR头显、智能眼镜,通通不需要!

甚至,在谷歌此前发布的概念图上,摄像头和传感器都放在一张桌子里。

稍加装饰之后,你甚至会产生这样一种错觉:眼前是你的书桌,而和你聊天的人就坐在书桌对面。

5年秘密研发!终于等到谷歌3D“魔镜”实测

根据谷歌给出的技术图,这一套设备包括:一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元,和包含红外背光并用作bench seat的背光单元。两个单元都包含向墙壁和天花板倾斜的白色LED灯条,用于产生柔和的反射照明。

显示器是一个 65 英寸、8 K、60 Hz的自动立体透镜面板,就是在它上面生成真人大小的裸眼3D视图化身。

而捕获子系统由三个同步立体的RGBD捕获pod组成:两个在显示器上方,一个在显示器下方的“中墙”(middle wall)中。

更下方的pod包括一个额外的彩色相机,用于放大拍摄对象的脸部。另外,四个单色追踪摄像头中的两个在显示器上方,其余两个一侧一个,用于捕捉眼睛、耳朵和嘴巴的高速广角图像。

5年秘密研发!终于等到谷歌3D“魔镜”实测

渲染的方式如下图所示。

5年秘密研发!终于等到谷歌3D“魔镜”实测

而pod就是上述提到的RGBD捕获装置。

这样渲染出的人物影响,更加逼真,栩栩如生。

5年秘密研发!终于等到谷歌3D“魔镜”实测

Starline还配备了高级的声音系统。

5年秘密研发!终于等到谷歌3D“魔镜”实测

这套系统使用了talker-tracked波束成形、混响消减、WebRTC传输、talker/listener-tracked虚拟音频合成、双耳串扰消除分频组合、振幅平移、空间化音频和动态波束成形等技术。

有了这些技术的加持,就仿佛通话的两个人在面对面说话一样。

去年,谷歌工程师表示,这套设备在标准办公网络环境下就可以运行。看来Starline技术是被寄望于广泛推广的。

当时,谷歌并未披露有关价格的更多细节。

很难想象这个7*7英尺、大小如同一个浴室的六位数电话亭有多大市场,但谷歌正在推进更多的测试。

不要“抱脸虫”

时至今日,这一项目进展如何?

Google Cloud Next 2022上,谷歌CEO桑达尔·皮查伊介绍了在全息视频聊天项目(Project Starline)上取得的一些进展。

谷歌称,它将在选定的合作伙伴办公室进行定期测试,其中就包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health。

5年秘密研发!终于等到谷歌3D“魔镜”实测

WeWork 和 Salesforce表示,他们有兴趣尝试这项技术,并认为这项技术可以让人与人之间的联系变得更有意义。

到目前为止,Starline项目已经在谷歌内部进行了数千小时的测试,并在其美国办公室每天使用。

谷歌在一份声明里说:“今天,在美国各地的谷歌办事处都可以找到Starline项目的原型,员工每天都在使用该技术进行会议。”

当这一项目推向实测后,便可以了解这种技术将如何在现实世界中使用,以及它可能面临什么样的挑战。

许多人认为其非常炫酷,但也有人质疑Starline项目是否最终能够成为职场人士日常生活一部分。

面对广阔的企业会议设备市场,Starline确实有一些空间。但一些限制使得Starline难以用于严肃的会议。企业会议设备通常适用于坐在桌旁的一大群人,广泛的兼容性使得任何人都可以使用几乎任何硬件来发起会议。

然而Starline仅支持一个人进行一对一聊天,恐怕只能用于打总统电话?

近日,谷歌曾邀请一位记者对Starline进行体验测试。这位记者描述如下:

“整个过程感觉比Zoom通话要自然得多。对方的动作和我们的谈话都没有明显的延迟,所以说话就像在说话。没有任何奇怪的音频或视觉延迟。”

“我会相信我真的和某人在一起,因为我正在与全尺寸的虚拟人进行真正的眼神交流,而不是眯着眼睛看着一个小小的Zoom窗口。”

Starline之所以如此令人信服的部分原因在于,你不仅在看屏幕,而且在看屏幕前的一系列镜头,或者说透镜阵列。这个原理类似于全息卡,当你来回摇晃它们时,它可以显示不同的图像或3D效果。而Starline会通过跟踪你的眼睛,来了解将显示给你的图像指向何处。

最后,这位记者总结道:“它对于一对一的对话很有用,尤其是医生办公室或需要服务客户的地方。”

一直以来,Starline项目在谷歌的长期地位一直不为人知。

一年前,这一项目还进行了重组,谷歌将其AR/VR技术和内部研发团队Area 120重新组建为“Labs”团队。

而在上个月,谷歌还将Area 120人员数量削减了一半。

这表明,在当前的经济环境下,谷歌可能不会把这类试验视为优先事项。即便是一些谷歌内部员工也不确定Project Starline是否还存在。

即便是这样,Starline依然让人振奋,是对另一种虚拟现实的押注。

人们并不需要Avatar,仅通过真实自我就可以实现在虚拟世界中的连接。

前几天,Meta还推出了自家最贵的高端头显Quest Pro。

而谷歌没有像Meta现在所做的那样,开发利用摄像头来实现眼睛和脸部运动追踪的技术。

5年秘密研发!终于等到谷歌3D“魔镜”实测

也没有研究如何在虚拟现实中为你的身体“加个腿”,而是致力于呈现一个真实的人。

最重要的是,不用像个“抱脸虫”一样戴在脸上,增加负担。

与此同时,随着越来越多的企业试图找到工作模式的混合未来,而Starline正好可以弥补现如今2D视频聊天的差距。

2024,携首款AR头显上市

其实,在AR头显上的布局,谷歌也不甘落后。

今年年初,两位知情人士透露,谷歌已开始加紧研发AR头显,内部代号为Project Iris,希望在2024 年上市。

并且谷歌希望在2024年之前与Iris一起发布Starline。

最新Iris头显将采用谷歌最新处理器,全自研的Tensor芯片,而且还支持在安卓系统上运行。

至于全新的操作系统,也在谷歌未来研发计划中。

这款AR设备使用外向摄像头将计算图形与现实世界融合,创造出比Snap和Magic Leap等现有AR眼镜更身临其境的混合现实体验。

由于电量的限制,谷歌会使用其数据中心去远程渲染一些图形,并通过互联网连接将它们传送到AR眼镜中。

Project Iris项目,可以说,是谷歌AR眼镜研发的一个转折点。

早在2012年,谷歌就发布了一款AR眼镜的原型机。类似于一副滑雪护目镜,而且不需要与外部电源连接。

随着一波硬件和软件的升级,2014年成功登陆美国市场,售价1500美元。然而,在2015年却因为各种负面新闻被迫下架。

紧接着,2015年,谷歌在其I/O大会上发布了一款“VR眼镜盒子”。其装置非常简单,主要由一块硬纸板与两块特殊的塑料镜片组成。

到了2017年,谷歌决定将AR眼镜的应用转向工业。

尽管急于追赶,但谷歌在打造新形式的AR硬件方面似乎落后于同行。

此后,谷歌在AR眼镜的硬件研发上明显保持沉默,并且选择专注于研发Google Lens、视觉搜索引擎和谷歌地图中的AR方向相关的软件功能。

随着2021年元宇宙概念大爆发,许多大厂纷纷在该赛道上展开布局。

其实,谷歌也在悄悄下自己的这盘棋。不论是AR头显Iris,还是全息视频通话项目Starline。

小扎曾在采访中说:“VR 的魔力在于,它可以立即让你相信你在另一个地方,并且和那里的人在一起。”他的构想是全息图,而Starline也正好英雄所见略同了。

现在,世界上最大的两家科技公司正在努力改善虚拟形象,虽然方法不同:Meta正全力以赴地提出元宇宙的概念,而Google 正在努力接管企业。

对于大多数人来说,聊天室和昂贵的混合现实显示器既不实用也不理想,但真正起飞的东西,可能会发生在两者之间的某个地方。

   0


24小时新闻排行榜 更多>>
1 内幕:刘亚洲是这样激怒习近平的
2 习当外商面反驳李强 蔡奇新角色引关注
3 中南海附近挤满救护车 死伤不明
4 惊传北京招商银行倡议书:“北京危急 生死
5 俄罗斯给恐袭定调了!幕后黑手就是…

48小时新闻排行榜 更多>>
1 要出大事?军委副主席捅了马蜂窝
2 这一次,巴菲特又料事如神
3 中国“断崖式降薪”突然冲上热搜
4 内幕:刘亚洲是这样激怒习近平的
5 中共东部战区一张训练照 泄露惊人信息
6 人民币剧烈波动的背后:北京意外变脸
7 大快人心!让无数人倾家荡产的机构终于迎来
8 习当外商面反驳李强 蔡奇新角色引关注
9 消息传来 3家中国地产商“爆雷”
10 真正的聪明人 从来不炫耀这3样东西
热门专题
1
美国大选
6
中共两会
11
秦刚失踪
2
中美冷战
7
台湾大选
12
火箭军悬案
3
以哈战争
8
李克强猝逝
13
台海风云
4
乌克兰战争
9
中国爆雷
14
战狼外交
5
万维专栏
10
李尚福出事
15
普里戈津
一周博客排行 更多>>
1 给世界“指明”方向后,中国迷 中国社会经
2 1364 (图文)红二代披露助毛泽 范学德2
3 她的天才因美貌而被忽视 湮灭之城
4 辛峰:社区那条红围巾 万维网友来
5 读后感:中国没有中世纪 施化
6 春蚕到死丝方尽 - 深切纪念刘 玉质
7 风云无定日月有常:中美关系实 阿妞不牛
8 何与怀:沉沦神州的血祭者 万维网友来
9 宋国辉:封杀TikTok最严厉的是 万维网友来
10 莫言现象:中国知识分子的宿命 万维网友来
一周博文回复排行榜 更多>>
1 读后感:中国没有中世纪 施化
2 分享“左媒”知乎的一个帖子。 高鹏
3 消遣一下中国适不适合多党制的 特有理
4 一图胜过千言万语:川普今天大 爪四哥
5 俄国GDP世界前十:西方专家的 随意生活
6 第三次世界大战的准备清单 随意生活
7 中国还有希望吗? 山蛟龙
8 为什么中国没有产生科学 体育老师
9 所谓“毛让站起来,邓使富起来 东田枫叶
10 普丁丁似乎有点急了 山蛟龙
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2024. CyberMedia Network/Creaders.NET. All Rights Reserved.