Qualcomm博客

在VR中保持虚拟世界的稳定

2016年7月20日

Qualcomm products mentioned within this post are offered by Qualcomm Technologies, Inc. and/or its subsidiaries.

虚拟现实(VR)将提供前所未有的体验和无限的可能性

正如我们之前提到过的,虚拟现实(VR)将提供前所未有的体验和无限的可能性,让我们瞬间转移到虚拟和现实世界的任何地方。要想实现这一目标并营造出现场感,我们必须满足完全沉浸式虚拟现实的极端要求。这些重要条件中有一些是包含着新概念的新术语,所以为了更好地理解这些条件,我们首先需要培养对虚拟现实工作原理的直觉。

虚拟现实如何运作

营造一种实际存在感实际上是要说服大脑。大脑根据感官输入以及与环境的互动来创造现实。换句话说,我们的现实是通过我们的感官输入形成的,它创造了我们对周围世界的感知。想一下你现在的位置,以及是什么使你认为你在这里。举例来说当你早上醒来或者打盹之后——你很快意识到你在家里的沙发上或在酒店的床上,等等。是什么让现实感觉起来是真实的?

它是一些事物的结合。我们的感官——我们看到的、听到的、闻到的、摸到的和尝到的——是受到周围世界的刺激,我们的大脑学会将这些感官输入与现实感知联系起来。我们不需要所有的感官都得到刺激来产生存在感,但是当然,视觉越多越好是最重要的。一种对于虚拟现实十分关键,但通常不属于“五官”的感觉来自前庭觉系统。该系统主要位于内耳,提供平衡感和空间方位感,帮助我们走动而不至于摔倒,并让我们知道头的朝向。

我们在与现实世界互动时,获得适当的感官反应对于存在感是至关重要的。如果我们向左扭头,我们会立即看到左边的事物,并听到略微不同的环境声音。如果我们触摸一个物体,我们会感到相应的质地和阻力。

为了模仿这一点,虚拟现实需要创造感官和谐,也就是让感官输入与互动同步。是感官输入之间的冲突让我们脱离沉浸式状态,感到不适或恶心。我们的感官需要通过合适的感官输入在合适的时间受到刺激,否则我们的大脑会探测到存在某种问题。通过这种我们如何感知现实的简述,虚拟现实的很多挑战可以追溯到不同组合的感官冲突。在这篇博文中,我将重点论述视觉与前庭觉系统的感官冲突。

MTP时延

虚拟现实的最大挑战之一是减少输入动作(头部转动)与屏幕更新显示(从刷新的屏幕发出的光线)之间的时间,也就是motion-to-photon(MTP)时延。

虚拟现实中良好的用户体验需要大约20毫秒或更低的MTP时延

研究表明,虚拟现实中良好的用户体验需要大约20毫秒或更低的MTP时延。为了正确地看待这个挑战,一个60赫兹的显示屏每17毫秒更新一次,一个90赫兹的显示屏每11毫秒更新一次。用户界面(UI)的延迟超过20毫秒对用户来说是很明显的,会影响沉浸感的营造——甚至可能会让用户感到恶心。用户界面延迟不是一个新的挑战,而是需要改善的幅度。

减少MTP时延是在用户移动保持虚拟世界稳定的关键。在刷新显示屏之前需要很多处理步骤。端到端路径包括对多种惯性和视觉传感器、传感器融合、视图生成、渲染/解码和图像校正进行取样,最后才是刷新显示屏。

端到端路径包括对多种惯性和视觉传感器、传感器融合、视图生成、渲染/解码和图像校正进行取样,最后才是刷新显示屏

除了速度优化,产生逼真的视觉需要精确的运动追踪,确保用户在虚拟世界看到的图景与用户在3D空间当前的位置和方向准确对应。

测量MTP时延

由于MTP是虚拟现实体验的一种重要度量,虚拟现实行业需要创造一致的测量方法和术语。决定测量什么,如何测量,以及对视觉品质进行分级都是与之相关的问题。Qualcomm已经与行业合作伙伴一起率先开始这种度量的标准化进程。

还有一件重要的事情是,MTP是通过终端测量的,因此它将受到几种组件的综合影响,例如传感器、系统芯片(SOC)、显示屏和软件。举例来说,两种具有除显示屏外完全相同组件的终端可能具有不同的MTP,这是因为OLED屏幕具有低余晖,在准备好时才更新像素,而LCD屏幕具有较高的余晖,在一帧结束时立刻能更新像素。对于虚拟现实生态系统中的所有公司来说,发展中面临的一个重要挑战是每一方都要降低其对MTP的影响。

在测量对象方面,出发点是头部突然转动(3度自由MTP)。终点是在显示器上有像素亮起时,屏幕上哪一个会是第一个、中间一个或最后一个像素。我们建议选择中间的像素(屏幕中央),因为它让部分时延与选择的屏幕联系起来,能够更准确地反映用户体验。应当采取多种测量方式来判定平均MTP时延,还应当注意最大MTP时延。从上面的论述中,大家应该明白测量的对象不同,测量结果可能有很大差别。

在如何测量方面,有多种不同精确度、复杂性和成本的方式。方法包括时延接收器或通用传感器API(按照定义的运动方式传输),一直到使用机器臂、摄像头追踪设备或地面实况传感器。到底需要一种方式还是多种方式,还有待进一步的论证。

对视觉品质分级也是一个开放性的问题,因为它很难解决。绝对误差与黄金影像之比可能不是衡量人类视觉系统感知误差的最佳方法。例如,视网膜中央凹渲染、预测和时间扭曲会显著改变图像而不影响用户获得的视觉品质。然而,必须弄清楚是否完全忽略了视觉处理的重要部分或者进行了错误实施。

最大限度降低MTP时延

Qualcomm Technologies花费了大量时间和精力来思考如何减少MTP时延。为了最大限度减少MTP时延,需要一种端到端的方式,减少单个任务处理的时延,同时并行尽量多的任务,以及采取适当的捷径来处理任务。最佳化的解决方案需要SoC系统级芯片(在同一个芯片集成所有功能)、软件、传感器和显示屏在一起和谐运作。所有这些领域的知识都是必要的,才能做出适当的优化和设计选择。可能用来减少时延的优化措施包括较高的传感器采样速度、高帧频、硬件流传输、延迟抓取(late latching),异步时间扭曲和单一缓冲渲染等技术。更多详情,请参见我们的《虚拟现实白皮书》。

Qualcomm Technologies通过针对领先的MTP时延设计,具有独特的优势以支持出众的移动虚拟现实体验。Qualcomm骁龙处理器在SoC上采取系统方式和定制设计的专门引擎,能够提供有效的异构计算解决方案,从端到端对时延、功率和性能进行了优化。例如,骁龙820处理器能够在一个可穿戴虚拟现实耳机的发热和功率限制内满足虚拟现实的处理需求。我们优化的系统软件和骁龙虚拟现实SDK的开发与骁龙820步调一致。我们的OEM合作伙伴即将推出众多移动虚拟现实终端,我们对在这些终端上取得的MTP初步成果感到非常自豪,并期望分享这些成果。

在未来的博客文章中,我计划深入地探讨运动追踪问题,它对于生成高品质视觉是非常重要的,同时它也是MTP路径的起点。