快出海  > 出海资讯  >  Meta元宇宙VR研发成果首度大公开,扎克伯格披露真实感VR体验四大挑战

Meta元宇宙VR研发成果首度大公开,扎克伯格披露真实感VR体验四大挑战

来源:十轮网
作者:十轮网
时间:2022-06-27
在Meta公司Reality Labs部门实验室中,有一面原型展示墙,陈列了实验室设立七年来所开发的数十款VR眼镜原型,有的轻巧如太阳眼镜,但更多是笨重,大小不一的设备。

960420-tu_pian_lai_yuan_-meta.jpg

在Meta公司Reality Labs部门实验室中,有一面原型展示墙,陈列了实验室设立七年来所开发的数十款VR眼镜原型,有的轻巧如太阳眼镜,但更多是笨重,大小不一的设备。这是去年改名为Meta的脸书,最重要的元宇宙研发基地,Meta创办人暨首席执行官扎克伯格强调,我们的目标是打造出通过视觉图灵测试的次世代VR体验,这是目前还不存在的未来技术。这是第一次,Meta详细披露了打造真实感VR眼镜的四大挑战和最新进展。

扎克伯格去年将脸书改名为Meta,来宣示全力进军元宇宙的企图心。VR眼镜是Meta实现元宇宙大梦的关键设备,2015年就发布了所并购子公司Oculus的首款虚拟现实头盔Rift,而Oculus团队后来也成了Meta的VR研发部门,也就是Reality Labs。

今年2月,Meta公布去年第四季财报时,也首度公布了Reality Labs部门的营收情况,虽然该季Meta的Reality Labs营收高达8.8亿美元,但最后还是亏损了33亿美元,而且逐季扩大中。最近更传出Reality Labs部门将重整,要终止或延后部分项目,专注在核心产品开发。这些负面消息也引发外界对Meta元宇宙布局的疑虑。最近,Meta首度公开了Reality Labs部门历年的研发成果,来消弭外界对发展不顺的质疑。

Meta元宇宙的战略目标

Meta元宇宙的战略目标是,打造出媲美真实世界的虚拟世界,扎克伯格指出,如果有一天VR眼镜可以媲美人类视觉的效果,可以实现“存在感”,让你感觉好像跟另一个人实际待在同一个地方的感觉,可以帮助人们更好的交互,这是非常重要的事。不管是,你远方家庭成员,或是项目协作的对象,你喜欢的艺术家,都可以让他们跟你有同在一个物理空间存在的感觉。

为何要打造媲美真实的3D感受,Meta旗下Reality Labs首席研究员Michael Abrash指出,真实的3D可以让我们体验,今天在虚拟世界体验不到的感觉,尤其是与其他人的交互体验,“必须改变感受系统,来趋近真实的情况,才能提供真正的临场感。”他更比喻,这样的VR眼镜更可以创造出协同合作的可能性,能做到项当年打字机或计算机带来的产业变革一样。

不只如此,“一旦可以打造出真实感的VR显示器,就可以创造新一代的视觉体验。”扎克伯格补充,文化会适应科技所带来的深度和丰富性,当新一代科技出现,就会带来新的艺术和表现形式,每一个人都希望被了解,这个真实感VR显示器,会成为一种强大的工具,可以用一种近似现实的方法来表达自己。

不过,扎克伯格也坦言,要让VR世界跟现实物理世界非常相似,是一件非常困难,但很有趣的问题,“这涉及我们在物理世界如何发现事情,包括眼睛如何处理信号,以及大脑如何解读的挑战。”尤其,人类视觉是高度集成的结果,不能只是看到一个高度真实的图像,还需要很多其他的视觉线索,才会有一种很真实的感觉,“这是与只看计算机屏幕或电视屏幕,截然不同的感受。”

不只是这些视觉线索的不同,除了提供3D立体图片之外,观看传统屏幕时的对焦是固定距离,但真实世界,眼睛移动过程中,会针对不同的物体对焦。另外,显示器也必须提供更广大的视野,提供比传统屏幕高非常多的分辨率,甚至,显示屏幕必须能够模模拟实世界的亮度和动态范围,比现在的高清电视还要高10倍,显示画面还能够快速延迟反映的眼球的动作,当用户转头时,可以很快校正画面的失真。这些功能都需要电力支持,尤其要支持GPU的运算,也要避免芯片发热带来的不舒适感。最后,所有这些组件都要安装到一个大小适合的设备中。

“只有一个部分没有做好,实境感觉就会消失,这种实境破坏感,比2D平面更明显。”扎克伯格坦言,这就是真实感VR眼镜的严峻挑战,需要软件、芯片技术、传感器等各种技术的合作。

参考图灵测试,提出视觉图灵测试来验证VR眼镜体验

为了用来判定VR眼镜的效果,Michael Abrash指出,Meta内部提出了“视觉图灵测试”的观念,“我们的目标就是希望通过视觉图灵测试。”Meta参考了图灵测试的做法,以“能不能分辨不出来这是人或计算机”来判定计算机是不是达到像人一样的程度,视觉图灵测验就是,人类看到的VR世界,能不能跟真实世界一样,分辨不出两者的差别。而且这个测试要以人类主观的感受来测试,而不是技术的衡量标准。不过,扎克伯格坦言,目前没有任何VR设备能够通过这个测试。

真实VR眼镜的第一个挑战是超高分辨率

很多人提到VR眼镜的品质,就会提到分辨率,扎克伯格表示,分辨率是最重要议题,但VR眼镜的分辨率问题跟传统的分辨率挑战不太一样。在VR眼镜中的视野,其实比现在最宽的屏幕还要更大,他预估,要达到1.0视力效果,就得在整个视野都都达到超过8K的分辨率,

Meta自己设置的目标是,要达到视网膜分辨率效果的VR眼镜,换句话说,每一度视野要提供到60个像素的分辨率,若是眼睛全视野都达到这个分辨率,就得比现有显示器还要多好几倍的分辨率才够。

不过,“人类视觉不需要所有像素都存在,所看到的完整视野中,不需要每一样东西都对焦,只需要对焦的物体有高分辨率,而视野边缘的分辨率可以稍低,但是,现在,任何一款显示器都没有办法做到这件事。”扎克伯格说。

脸书曾有一款原型产品,称为Butterscotch,可以提供超高分辨率,来达到1.0视力的文本识别效果,这是2015年时的Rift眼镜或是当前的Quest 2眼镜就都达不到的效果,可以看清楚视力检测表上1.0的文本。

Butterscotch是Reality Labs实验室定制的原型,不是实际的产品,但是可以达到视网膜分辨率,是现在Quest 2虚拟现实眼镜的2.5倍分辨率,但这款原型眼镜的解法是,通过牺牲视野来达到更高的分辨率,通过混合镜片,将视野的宽度缩小到Quest 2视野宽度的一半,才得到比较高的分辨率,可以看到非常细节。

扎克伯格自己也曾测试过这款视网膜分辨率的VR眼镜,他说:“可以看到非常锐利的图像,体验很好,但没办法卖,因为设备的重量很重,而且图像过于锐利,戴久了也会不舒服。”

通过这个原型的实测,一方面可以看到超高分辨率VR眼镜的模样,也让Meta的Reality Labs团队意识到,真实的图片需要达到这样的分辨率,扎克伯格指出,显示器科技会一代一代进步,几年后就会达到。

不过,新时代视觉体验的挑战不只是分辨率而已,甚至还有一些平面显示设备不会出现的挑战。例如,VR眼镜独特的挑战是VR所用的镜片是曲线镜,会造成图片变形,就得靠软件来校正,但是,这个变形还会随着眼睛移动而改变,长时间佩戴看到失真图片,会造成不舒服、疲劳的感觉。另一个挑战是对焦的挑战,眼睛会想要对焦物体,但是,显示器是以固定距离来投影,就得解决不同距离的聚焦问题。

动态对焦是第二个挑战

2015年开始销售第一款VR头盔Oculus Rift的时候,当时,Meta就发现到对焦距离的挑战。因为当时是第一次在VR眼镜的视野中出现了手,就遇到了移动过程的对焦挑战。因为手会在VR世界中挥动,就会出现对焦距离不固定的问题。

现实世界的眼球,会不断改变形状来应对我们看的距离和成像,但是,当前的VR光学系统采用的是固定不能弯曲的实体透镜,焦点固定在约5~6英尺的位置,方便用户看到比较远的地方。在真实世界中,人类的眼睛可以捕捉到不同深度和位置的各种微妙线索,但在

VR眼镜中,若眼睛试图聚焦观看近处或远方的物体,却无法做到时,就会觉得有点模糊也会让眼睛疲劳,这是3D眼镜跟2D显示器的差别,用户观看2D显示器时,不需要真的观看到很近或很远的物体。

为了解决这个问题,Meta的解法是动态移动镜片,来改变景深,就像是相机自动对焦的感觉。后来,Meta用了1个月的时间,做出了第一款变焦的VR眼镜原型,可以提供正确的焦深,尤其是看近的对象,会更清楚。

961-vr-90-Meta.jpg

Meta在2015年打造出的第一款变焦VR眼镜原型,装上马达来改变显示器镜头位置,非常笨重,但从此确定了变焦是可以更接近真实的未来技术目标。

这个VR眼镜原型装上了马达,来调整显示器的镜头位置,虽然这是一款非常笨重的眼镜,不是可以上市的产品,但却让研究团队大受激励,让他们体验到未来可以达到什么样程度的现实程度,所以戴过这款原型的人都同意,可以让比较近的物体看起来很锐利,隔年,

Meta进一步打造了一款可以关注眼动,根据眼球运动来进行变焦的原型。通过机械变焦的显示器,能够提供适当的景深,搭配眼球关注技术,针对用户在看的区域,即时提供失真校正,补偿这个区域的放大效果,只有用户看到的物体,会比较清楚,就像在真实世界,你聚焦观看的物体会更清楚一样。

“这个早期原型,让我们意识到,我们做对事情了,变焦真的可行,可以提供更吸引人的体验。”Reality Labs Research显示系统部经理Douglas Lanman回忆。通过原型确定变焦VR眼镜发展方向,下一步就是要进行用户研究,通过更有说服力的科学实验来证明。

开发轻巧变焦VR眼镜原型,展开用户体验研究

Reality Labs Research FAIR项目经理Marina Zannoli先前在Reality Labs Research显示系统团队中担任视觉科学家,也是负责新时代VR眼镜第一次用户研究的负责人。

为了了解变焦如何提升VR的体验,必需要先打造出一款更小更轻的眼镜设备,Marina Zannoli解释,重量和形式必须接近Oculus Rift,但不能有变焦马达的噪音和震动,后来,就发展出了Half Doom Zero这款变焦VR眼镜。

Half Doom Zero眼镜比原本变焦眼镜的原型小了4倍,而且完全跟当时所有Rift游戏兼容,也有非常好的对焦能力。在2017年春天,Meta找了大概60个受试者,来体验Half Doom Zero眼镜,让他们做了两天的测试,来比较调制焦系统,跟定焦系统的差别。

这个研究也准备了特定的VR展示视频,并鼓励测试者观察他们周边很近的东西,因为这是过去VR世界的用户会避免做的事,来自原有定焦系统VR眼镜的限制。

962-90-Meta.jpg

2017年春天Meta找了60个受试者体验动态变焦的VR眼镜,Half Doom Zero眼镜,这是第一次的大规模VR原型用户体验测试。

经过用户实验后发现,使用变焦系统比较不会累,也比较不会出现模糊的视线,用户更容易跟踪对象,在VR世界中阅读文本也更比定焦系统更容易,可以对对象的反应更快速。虽然这款VR眼镜仍有噪音和震动的问题,不过,这次用户研究,多数人可以接受噪音和震动下的变焦系统。

“大部分的人都喜欢变焦,比较不喜欢定焦。”Marina Zannoli指出,到了2017年夏天时,我们就得到比较确定的证据,变焦不只有助于未来可以通过视觉图灵测试,而且可以带给VR眼镜其他好处,包括性能的帮助(不需要全视野超高分辨率)和舒适性。“Half Doom系列是一个转泪点,不只发展出了非常先进的变焦技术,也提供了一种通过视觉图灵测试的原型测试模式。”

从此,先做出原型来验证,再发展轻巧版本进行用户实验,来研究如何打造下一个原型,“这就变成了我们的标准流程。”Marina Zannoli表示。Meta的Reality Labs实验室开始大量运用这个原型实验的做法,来尝试解决不同的VR眼镜挑战,这也是为何在7年中会开发出近30款原型VR眼镜的缘故。

有这个变焦系统更舒适的发现之后,Meta开始专注于减少设备大小和重量,以及想办法扩大VR眼镜的视野,也制作了一系列的原型,后来更使用了液晶透镜的电子变焦镜头,让镜片组件的体积缩小了许多,后续也持续改良变焦硬件。

第三个挑战:变焦带来更复杂的失真校正挑战

解决了变焦镜头的问题,还要解决其他问题,另一个问题就是VR光学失真的问题。

先前就提到VR眼镜的镜片是曲面镜,原本就会出现图片失真的问题,VR眼镜大多通过软件来修正这个图片的失真。可是一旦采用了变焦镜头,要随着用户的眼球来修正聚焦的物体,联动到虚拟图片的失真情况,也会随着眼睛移动,查看不同方向而发生不同的失真变化。

可是,Michael Abrash指出,既有失真修正算法是相对静态的做法,遇到眼睛要不断移动来浏览完整场景的时候,无法完美发挥作用,因为静态软件校正系统无法产生持续稳定的图像。“我们要研究的是眼球关注的失真校正,必须进行动态校正,随着眼睛来进行,在不同的变焦技术,在不同景深上发挥作用,而且校正的速度还要快让人难以发现,这是很难解决的问题。”

要解决失真的问题,需要很长的时间,一方面必需要制造出研究问题需要的镜片,可能花上好几个月才能完成,还要制造显示器和对应的VR系统。为了解决耗时的问题,Meta改用大量眼球运动的记录,来设计模拟器,搭配3D电视技术,来模拟研究不同光学设计和失真校正算法,不用建造真正的头盔,“通过这种快速原型制作能力,可以在几分钟内探索不同动态失真校正的情况。”Michael Abrash表示。

他指出,眼球关注是被低估的挑战,一方面要找出用户对焦的地方,来决定要渲染的图像重点,另一方面,也要考虑热量跟功率,如果只需要渲染出用户需要关注的细节就好,但降低其他部分的图像分辨率,“这或许是一个非常重要的优化做法。”目前在Quest 2的软件也做了不少失真校正的弥补,但要满足真实感VR眼镜需要的失真校正效果,还是不太够。

可以让3D场景栩栩如生的第4项挑战:HDR

Michael Abrash表示,Meta研发VR眼镜七年来所遇到的显示系统挑战,除了分辨率、变焦到失真校正的课题,还有一个很重要的挑战就是HDR(高动态范围),这是涉及亮度和对比的问题,亮处够亮可以感觉到颜色清楚,而暗处够暗才会让场景变得栩栩如生。当前的挑战是,“屏幕生动的程度,跟真实世界相比,有相当大的差异。”目前高端电视的亮度可以达到1万尼特,电视产业也往HDR的方向前进,但当前Quest VR眼镜的亮度只有100尼特,要提供HDR的亮度,也需要在电池跟重量之间取得平衡。

Meta曾打造出第一款HDR的VR眼镜Starburst来测试,不管重量和电力,放进高亮度的屏幕,来进行更多研究,了解HDR的体验会是如何。原型测试的目的是为了找出可以让视觉更加真实的技术方向。

Reality Labs Research研究总监Nathan Matsuda表示,通过Starburst,可以创造出在室内看到的亮度,来研究基本的发现问题,了解未来目标HDR应该要达到什么程度。目前发现,若可以产生比较好的焦深,营造真实生动的感觉,就有机会实现一个够漂亮,够复杂的VR环境,这还需要很多代的演进,才能达到。“我们正努力将这些技术集成到一个更小巧,更便宜的眼镜中。”Nathan Matsuda表示,每次创建一个新的原型,不管多不实际,但都可以让我们理解,人们如何观察周围的世界,以及科技可以如何扩大人们的视觉系统。

Michael Abrash指出,变焦和视网膜分辨率可以打开很多种可能性,但也会带来开发者的挑战,越真实的内容,制作难度就越高,如何协助人们创造这样的环境,能够炫染出可以保真的程度,AI技术将是实现这个目标的关键技术,另一个策略是先在真实世界中架构出场景,再将场景带来虚拟世界。

在Meta的Reality Labs团队中还有一组人马,负责集成科技和新的光学组件,他们的挑战就是要尽可能减少这些光学组件的体积。Reality Labs Research研究员Andrew Maimone指出,不管是分辨率、对焦、失真或HDR的技术,最后都要集成到VR眼镜中,我们的目标希望更轻薄短小,人们可以使用更长的时间。

在VR光学组件中有三个要素,光源、成像的显示版和曲面镜片。过去VR眼镜大部分的空间是消耗在镜片和显示版之间,Andrew Maimone指出,后来改用偏光折射可以进行光学对折,技术上称为饼干式镜筒,可以大幅减少厚度,只剩下曲面镜片本身的厚度。后来,Meta引进了全像投影的饼干式镜筒,简称HoloCake,同样采用饼干光学镜头的设计,将镜头改为全像镜片,就可以得到更薄、更平的镜头,能够大大减少VR光学组件的大小,进一步能减少整体眼镜的重量,不过,“全像镜片非常特殊,得使用激光作为光源,才可以描述更多颜色,提供更好视觉体验。”

963-94859888.jpg

传统VR眼镜空间是消耗在镜片和显示版间,Meta改用偏光折射进行光学对折,技术上称为饼干式镜筒,大幅减少了厚度,更将镜头改为全像镜片得到更薄更平的镜头(图右)。

最新VR原型HoloCake 2采用全像技术和激光光源

Meta也展示了他们目前最先进的VR设备原型HoloCake 2,可以支持任何计算机来运行,引进了两个技术,第一是引进了全像技术,可以让用户感受到有点像是实际成像的样子,也能减少距离造成的成像差异效果,不过,要提供全像成像需要特殊光源,HoloCake 2采用了特别的激光光源,不同于今天VR眼镜用的LED光源。Andrew Maimone指出,激光光源并不神奇,但在消费级产品中,找不到性能和价格能够兼顾的合适产品,还需要大量工程研究,才能打造出符合需求的消费型激光光源,能够安全、有效的装在轻薄的VR眼镜上。

964-HoloCake-90-Meta.jpg

Meta目前最先进的VR设备原型HoloCake 2,采用饼干式全像技术,也需要搭配特殊激光光源来提供全像呈现所需,不同于今天VR眼镜惯用的LED光源。

扎克伯格还展示了一款VR眼镜的原型设计Mirror Lake,集结了Reality Labs部门过去7年的研究成果,采用了HoloCake 2的显示系统,包括了变焦镜头、眼球关注、失真校正技术、饼干镜头设计等,要集成到一个小巧、方便穿戴的护目镜眼镜设计,来提供混合实境的真实3D显示方式。不过,Mirror Lake只是一个概念设计,Meta还没有真正实现这样的架构。

扎克伯格坦言,Mirror Lake还需要好几年才能实现。“因为真实感VR是一个全新的技术,不是改进手机或电视的显示器,如果可以实现,将会带来VR体验非常大的改变。”

965-6986888.jpg

扎克伯格展示一款VR眼镜原型概念设计Mirror Lake,集结了过去7年的研究成果,集成到一个小巧、方便穿戴的护目镜眼镜设计,来提供混合实境的真实3D显示方式,但目前还没实例。

↟点击阅读全文
版权说明

本文内容来自于十轮网,本站不拥有所有权,不承担相关法律责任。文章内容系作者个人观点,不代表快出海对观点赞同或支持。如有侵权,请联系管理员(zzx@kchuhai.com)删除!

相关文章
Meta收紧外包岗位:员工福利削减 遭遇大规模裁员
Meta收紧外包岗位:员工福利削减 遭遇大规模裁员
近期,德克萨斯州奥斯汀的许多Meta(Facebook母公司)外包员工丢掉了工作。此前,他们的福利被削减,工作受到密切监控,同时有更多的人被纳入绩效改进计划。
新浪科技
23小时前
Wish非欧盟地区佣金政策调整
Wish非欧盟地区佣金政策调整
近半年来,Wish平台正在进一步推进佣金比例政策(即收入分成比例政策)的深化以及“动态加价”的改革。
卖家网
3天前
老字号新机遇!数据引领百年药企新发展
老字号新机遇!数据引领百年药企新发展
随着数字技术的发展,企业需要处理的数据也越来越多,如何“基于数据思维,有效利用工具,辅助实现科学管理决策?”成为提升竞争力的关键。
云应用商店
3天前
敦煌网集团获三项ISO权威认证,打造跨境电商平台信息安全标杆!
敦煌网集团获三项ISO权威认证,打造跨境电商平台信息安全标杆!
近日,敦煌网集团宣布获得三项ISO体系权威认证,包括ISO27001信息安全管理体系认证,ISO27701隐私信息管理体系认证,以及ISO20000信息技术服务管理体系认证,这充分表明了敦煌网在信息安全管理与隐私保护方面已处于国际先进水平,在平台业务高速发展的同时,始终以最高标准守护全球用户的信息与隐私安全,并为合作伙伴提供安全可靠的信息技术服务。
敦煌网
3天前
报告发布丨机遇酝酿,欣欣向荣,速览尼日利亚金融科技行业发展现状
报告发布丨机遇酝酿,欣欣向荣,速览尼日利亚金融科技行业发展现状
受惠于金融科技的发展,数百万尼日利亚当地人已经用上了便捷、手续费用低廉的数字金融工具,尼日利亚中小企业也拥有了更加方便、能够快速授信的信贷融资渠道。
小AI
3天前
扫描关注获取更多 出海资讯 的相关信息
扫码登录
打开扫一扫, 关注公众号后查看更多
加载中
二维码已失效 请重试
刷新
账号登录/注册
小程序
公众号
商务合作
投稿采访
出海管家