扩展现实(XR)是一个涵盖增强现实(AR)、虚拟现实(VR)、混合现实 (MR),以及介于两者之间一切的总称。尽管AR和VR提供了广泛的革命性体验,但相同的基础技术正在为XR提供动力。以高通公司为例,其对XR的愿景是打造时尚耳机,它将改变消费者体验,以及从工业制造和医疗保健到教育和零售的许多垂直市场。XR本质上是移动计算(云管端)平台的未来,所以新时空的核心价值体现,就是充当智能信息时代的社会操作系统。同理,新时空是新兴信息产业发动机(又称引擎),也是关联产业的效应放大器,还是传统产业的效率倍增器。
1. XR 是 AR、VR 和 MR 的超集
人们设想有项技术变得更加个性化和更加有用的未来,您的世界将被直观地增强以满足您的需求,并且无论您身在何处,这一切都将无缝地发生。随着时间的推移,技术本身将有效地消失,因为一种几乎无法察觉的新型移动设备的出现,取代了几乎所有其他设备,并改变了我们与世界互动的方式。虽然在这一切发生之前还有许多技术障碍需要克服,但其中一些障碍已经开始,甚至可能比您想象的通过扩展现实(XR)下的技术融合来得更快。
今天,AR和VR是截然不同的体验,但它们共享许多相同的基础技术,这些技术将为革命性的XR体验提供动力,因为AR和VR最终会融合成一种能够同时支持两者的新型可穿戴设备。XR将改变日常消费者体验和许多垂直市场,从工业制造和医疗保健到教育和零售。XR的可能性是无穷无尽的。移动XR有可能成为未来十年世界上最普遍和最具颠覆性的计算平台之一,就像前十年的智能手机一样。这就是为什么人们决心加快XR采用所需的关键技术的开发。只有当技术领导者与消费者一起工作时,它才会发生。因此,我们希望大家能够集体抛开过去的教条,省点力气,开拓新路,让XR一起进步共生。
2. XR眼镜将提供AR、VR和智能手机的功能。
XR可穿戴设备将成为融合设备。在未来的某个时候,我们会看到智能手机、移动VR耳机和AR眼镜融合到一个XR可穿戴设备中。在这种情况下,一副XR眼镜将主要用于AR,但偶尔也会用于VR--原本透明的眼镜将有一种模式,它们变得完全不透明并进入“VR模式”。XR眼镜当然需要时尚、舒适和智能,同时提供身临其境、认知和始终连接的体验,真正提升和丰富我们的生活。XR眼镜可以取代你生活中的许多其他屏幕--甚至像客厅里的电视这样的大屏幕。我们相信,在未来十年的某个时刻,它们最终将成为向全世界人类传递音频和视频信息的最常用设备。
3 解决未来的XR关键技术挑战
综上所述,如果没有实质性的技术创新,XR就不会发生。在XR成为主流应用之前,有许多技术挑战需要解决,但现在让我们只关注如下这五个:
(1)显示:XR需要对显示技术进行颠覆性革命。XR将需要更丰富的视觉内容以及在虚拟和现实世界之间无缝切换的能力。除了舒适和耐用之外,XR显示器还需要解决无数挑战,例如聚散调节冲突。这是人类视觉系统的一个生理特征,如果没有适当考虑,当您的眼睛旋转并聚焦于不同感知距离的物体时,会导致疲劳和不适。这也将是一个巨大的挑战,尽管不是一个不可克服的挑战,让相同的显示器能够实现应用程序控制的透明度和不透明性,以及更宽的视野(FoV)、像素密度的显著改进、更高的帧速率和亮度。
(2)通用照明:使增强世界中的虚拟物体在视觉上与真实物体无法区分是一项巨大的挑战,但要让XR发挥其潜力,这是一个需要克服的挑战。我们需要在计算机视觉和3D图形学科之间进一步融合,以在虚拟和真实对象之间提供通用照明。这样,例如,您选择放置在办公桌上(无论您坐在哪里)的您家人的虚拟相框在任何照明条件下都与真实相框无法区分。
(3)运动跟踪:需要对我们的头部、手部和眼睛进行智能设备跟踪,以便与我们的XR眼镜进行直观交互并创造沉浸感。例如,需要低延迟和精确的内向外6自由度 (6DoF)头部跟踪来满足世界级VR的运动到光子延迟。此外,对于大多数用例来说,最好的控制器是无控制器,因此AR模式下的手部跟踪和VR模式下创建逼真的虚拟手部至关重要。我们还认为,使用眼动追踪进行自动瞳距(IPD)校准、更高效的3D图形和视频中心点渲染以提高视觉质量,以及为XR设计的新用户界面以创建更自然的基于意图的交互将是基本的。
(4)功率和热量:在时尚的XR眼镜的功率和热量限制内适应XR的始终在线、计算密集型工作负载是非常具有挑战性的。整个生态系统需要改进每瓦异构计算性能、电池技术、材料科学、软件效率和标准化,以实现我们对无处不在的XR愿景。
(5)连接性:XR还需要无处不在的无缝连接到互联网和云服务,最初由千兆LTE提供服务,并辅以 Wi-Fi。随着我们看到越来越多的XR用户拥有更高质量的沉浸式服务,我们将需要5G提供的额外容量。XR视频流媒体预计将成为未来十年的杀手级5G用例。例如,XR视频可能需要千兆位的带宽和极低的延迟才能获得要求苛刻的6 DoF视频体验。5G增强型移动宽带将提供数千兆位的吞吐量,以及低至1毫秒的空中延迟,以帮助提高与流式XR视频应用的交互速度。5G还将有助于提供更统一的XR体验,因为当您离基站较远时,5G的数据速率不会像现在那样变化很大。