Qualcomm博客

设备内置运动追踪带来沉浸式虚拟现实:摆脱“线”的束缚

沉浸式虚拟现实(VR)需要满足视觉质量、声音质量和直观交互方面的极端苛刻要求

沉浸式虚拟现实(VR)需要满足视觉质量、声音质量和直观交互方面的极端苛刻要求。先前的博文简要介绍了虚拟现实是如何工作的,解释了为什么要将 “运动的光子”延迟(MTP)降到最低。这篇博文,我们想深入分析运动追踪,这不仅是MTP路径的起点,而且对产生高品质视觉和声音效果也是至关重要的。

对头部进行精确的低延迟运动追踪是与虚拟世界直观交互的关键——你需要它的存在。例如,当你转动头部探索虚拟世界时,精确的头部追踪将提供产生适当视觉(和声音)效果的姿势。同样,如果你的头一动不动,那么视觉需要保持完全静止状态,否则你可能会感觉在船上。我们一般通过活动的自由程度来描绘运动:三个自由度(3-DOF)或六个自由度(6-DOF)。

头部运动有六个自由度

3-DOF探测围绕X、Y和Z轴的转体运动——方向。对于头部运动来说,这意味着在保持身体其他部位不动的情况下能够扭头、点头和摆头。虚拟现实中的3-DOF使你能够从固定点环顾虚拟世界——跟三脚架上的相机一样。对于很多360度球形全景视频来说,3-DOF将提供非常逼真的内容,比如从特定座位观看体育比赛或从特定了望台眺望大自然。

头部运动有六个自由度

6-DOF探测转体运动和平移运动——方向和位置。这意味着你的身体现在可以在虚拟世界从固定点沿X、Y和Z轴方向移动。虚拟现实中的6-DOF对游戏等体验帮助很大,你可以在虚拟世界自由移动和环顾四周。有了6-DOF,即使是简单的事情,比如看桌子上的东西或扭头,都能够让人兴奋不已。而且6-DOF能带来更逼真的效果,因为它不仅可以捕捉到我们的真实运动,还能消除视觉和前庭系统之间的感官冲突。

通过VIO 实现6-DOF运动追踪

提供精确6-DOF运动追踪的一个解决方案是视觉惯性测程(VIO)。那么,什么是VIO,VIO又是如何工作的呢?VIO利用摄像机和运动传感器,估计移动设备在未知环境中的相对位置和方向。

例如,单个摄像机可以估计相对位置,但不能提供绝对尺度——物体之间的实际距离,或者以米、英尺计算的物体大小。惯性传感器能够提供绝对尺度,并以更高速率提取测量样本,从而提高设备快速运动的稳定性。然而,与摄像机相比,惯性传感器,尤其是低成本微机电(MEMS)系列,在估计位置时容易出现大偏差。因此VIO集双方优点于一身,能够准确估计设备方位。

经过优化的设备内置6-DOF解决方案

Qualcomm Technologies花费大量时间和精力研究使设备内置VIO克服电力和散热局限以自如运行的方法。运动追踪不仅对虚拟现实至关重要,对其他许多应用也是如此,如无人机、机器人、扩增实境和室内导航。对虚拟现实来说,运动追踪必不可少,因为它让虚拟现实耳机(和你)的移动完全不受限制——你可以尽享Room-scale房型虚拟现实,而不必受电脑或电线的束缚。

通过精确低延迟运动追踪设计支持卓越移动虚拟现实体验,正是Qualcomm Technologies的独到之处。Qualcomm骁龙处理器采用系统方法以及系统芯片定制设计专用引擎,能够提供有效的异构计算解决方案,并通过端到端优化,实现最佳延迟、功耗和性能(详见本公司VR白皮书)。我来展示我们如何为骁龙处理器搭载VIO优化解决方案。从下面的图表中你会发现,摄像机、加速度计和陀螺仪都是骁龙VIO子系统的数据输入设备。惯性传感器由加速度计和陀螺仪组成,其运行频率远高于摄像机。

摄像机、加速度计和陀螺仪都是骁龙VIO子系统的数据输入设备

在骁龙VIO子系统中,摄像特征处理模块负责探测和追踪特征。惯性数据处理模块在惯性传感器上高频率运行并融合数据。为提高效率,VIO算法在Hexagon数字信号处理器(DSP)上进行。当摄像机和惯性传感器的数据融合时,奇迹真的发生了。数据融合实现了对头部运动的持续定位。最后,我们需要高频率头部定位,因此我们同时产生了精确、高速率姿势和预测姿势。利用6-DOF姿势可以通过适当的视觉(和声音)效果快速更新用户在VR世界中的视图。

我们期待看到开发人员提供的所有非凡3-DOF和6-DOF虚拟现实体验成为现实

我们的VIO解决方案之所以有效,有以下几个关键原因。首先,传感器和处理器在同一设备上,位置接近,减少了电线和接口的延迟。第二,所有处理均在一个高度集成的骁龙处理器上完成,这意味着全部功能都集中在同一芯片上,由于接口高效并减少了缓存次数,因此延迟和功耗都降低了。第三,我们针对VIO优化系统软件,骁龙虚拟现实软件开发包(SDK)也可供客户和开发人员使用。我们期待看到开发人员提供的所有非凡3-DOF和6-DOF虚拟现实体验成为现实。

Opinions expressed in the content posted here are the personal opinions of the original authors, and do not necessarily reflect those of Qualcomm Incorporated or its subsidiaries ("Qualcomm"). The content is provided for informational purposes only and is not meant to be an endorsement or representation by Qualcomm or any other party. This site may also provide links or references to non-Qualcomm sites and resources. Qualcomm makes no representations, warranties, or other commitments whatsoever about any non-Qualcomm sites or third-party resources that may be referenced, accessible from, or linked to this site.