Qualcomm博客 Blog

设备内置运动追踪带来沉浸式虚拟现实:摆脱“线”的束缚

2016年8月30日

Qualcomm products mentioned within this post are offered by Qualcomm Technologies, Inc. and/or its subsidiaries.

沉浸式虚拟现实(VR)需要满足视觉质量、声音质量和直观交互方面的极端苛刻要求

沉浸式虚拟现实(VR)需要满足视觉质量、声音质量和直观交互方面的极端苛刻要求。先前的博文简要介绍了虚拟现实是如何工作的,解释了为什么要将 “运动的光子”延迟(MTP)降到最低。这篇博文,我们想深入分析运动追踪,这不仅是MTP路径的起点,而且对产生高品质视觉和声音效果也是至关重要的。

对头部进行精确的低延迟运动追踪是与虚拟世界直观交互的关键——你需要它的存在。例如,当你转动头部探索虚拟世界时,精确的头部追踪将提供产生适当视觉(和声音)效果的姿势。同样,如果你的头一动不动,那么视觉需要保持完全静止状态,否则你可能会感觉在船上。我们一般通过活动的自由程度来描绘运动:三个自由度(3-DOF)或六个自由度(6-DOF)。

头部运动有六个自由度

3-DOF探测围绕X、Y和Z轴的转体运动——方向。对于头部运动来说,这意味着在保持身体其他部位不动的情况下能够扭头、点头和摆头。虚拟现实中的3-DOF使你能够从固定点环顾虚拟世界——跟三脚架上的相机一样。对于很多360度球形全景视频来说,3-DOF将提供非常逼真的内容,比如从特定座位观看体育比赛或从特定了望台眺望大自然。

头部运动有六个自由度

6-DOF探测转体运动和平移运动——方向和位置。这意味着你的身体现在可以在虚拟世界从固定点沿X、Y和Z轴方向移动。虚拟现实中的6-DOF对游戏等体验帮助很大,你可以在虚拟世界自由移动和环顾四周。有了6-DOF,即使是简单的事情,比如看桌子上的东西或扭头,都能够让人兴奋不已。而且6-DOF能带来更逼真的效果,因为它不仅可以捕捉到我们的真实运动,还能消除视觉和前庭系统之间的感官冲突。

通过VIO 实现6-DOF运动追踪

提供精确6-DOF运动追踪的一个解决方案是视觉惯性测程(VIO)。那么,什么是VIO,VIO又是如何工作的呢?VIO利用摄像机和运动传感器,估计移动设备在未知环境中的相对位置和方向。

例如,单个摄像机可以估计相对位置,但不能提供绝对尺度——物体之间的实际距离,或者以米、英尺计算的物体大小。惯性传感器能够提供绝对尺度,并以更高速率提取测量样本,从而提高设备快速运动的稳定性。然而,与摄像机相比,惯性传感器,尤其是低成本微机电(MEMS)系列,在估计位置时容易出现大偏差。因此VIO集双方优点于一身,能够准确估计设备方位。

经过优化的设备内置6-DOF解决方案

Qualcomm Technologies花费大量时间和精力研究使设备内置VIO克服电力和散热局限以自如运行的方法。运动追踪不仅对虚拟现实至关重要,对其他许多应用也是如此,如无人机、机器人、扩增实境和室内导航。对虚拟现实来说,运动追踪必不可少,因为它让虚拟现实耳机(和你)的移动完全不受限制——你可以尽享Room-scale房型虚拟现实,而不必受电脑或电线的束缚。

通过精确低延迟运动追踪设计支持卓越移动虚拟现实体验,正是Qualcomm Technologies的独到之处。Qualcomm骁龙处理器采用系统方法以及系统芯片定制设计专用引擎,能够提供有效的异构计算解决方案,并通过端到端优化,实现最佳延迟、功耗和性能(详见本公司VR白皮书)。我来展示我们如何为骁龙处理器搭载VIO优化解决方案。从下面的图表中你会发现,摄像机、加速度计和陀螺仪都是骁龙VIO子系统的数据输入设备。惯性传感器由加速度计和陀螺仪组成,其运行频率远高于摄像机。

摄像机、加速度计和陀螺仪都是骁龙VIO子系统的数据输入设备

在骁龙VIO子系统中,摄像特征处理模块负责探测和追踪特征。惯性数据处理模块在惯性传感器上高频率运行并融合数据。为提高效率,VIO算法在Hexagon数字信号处理器(DSP)上进行。当摄像机和惯性传感器的数据融合时,奇迹真的发生了。数据融合实现了对头部运动的持续定位。最后,我们需要高频率头部定位,因此我们同时产生了精确、高速率姿势和预测姿势。利用6-DOF姿势可以通过适当的视觉(和声音)效果快速更新用户在VR世界中的视图。

我们期待看到开发人员提供的所有非凡3-DOF和6-DOF虚拟现实体验成为现实

我们的VIO解决方案之所以有效,有以下几个关键原因。首先,传感器和处理器在同一设备上,位置接近,减少了电线和接口的延迟。第二,所有处理均在一个高度集成的骁龙处理器上完成,这意味着全部功能都集中在同一芯片上,由于接口高效并减少了缓存次数,因此延迟和功耗都降低了。第三,我们针对VIO优化系统软件,骁龙虚拟现实软件开发包(SDK)也可供客户和开发人员使用。我们期待看到开发人员提供的所有非凡3-DOF和6-DOF虚拟现实体验成为现实。