Qualcomm博客

基于情景的音频应用在路上

Qualcomm一年多以前开始探讨关于基于情景的音频技术,目的是获得身临其境的声效。现在,我们在这方面已取得很大进展——这种情景式音频已被视为沉浸式虚拟现实(VR)的理想技术。针对整个音频情景,首先利用高阶高保真立体声(HOA)创造一个紧凑高保真样板,然后在播放位置根据需要以最佳方式重新创造整个音频情景。这意味着你听到的声音是非常逼真的——是来自正确方位的高保真立体声音,带来真正的沉浸式体验。

情景式音频的进展和趋势

作为一种新兴技术,情景式音频有几个市场推广路径。2015年10月,MPEG-H 3D音频标准发布,此国际标准支持基于场景的音频。MPEG-H是ATSC 3.0(高级电视系统委员会)音频编解码的两个候选方案之一。ATSC 3.0是美国、韩国等国家下一代数字电视空中传输的规格。作为采用的一个标志,所有韩国广播公司将实施MPEG-H 3D音频标准作为韩国的广播音频格式。这是特别令人兴奋的,因为2018年韩国冬季奥运会将是展示MPEG-H3D音频交互性能的一个窗口。此外,为了支持广泛的设备互操作性,MPEG-H也纳入到了DisplayPort和HDMI 规格中。

情景式音频在标准之外也引起了越来越多的关注。例如,YouTube 支持第一阶环境立体声(FOA),为全景视频带来空间音频。最近,YouTube为点播视频引入了空间音频,目前正在积累内容。基本FOA已在单一格式中提供了立体声3D音频优势,可以根据不同设备的扬声器配置进行调节,而向HOA演进能够带来更好的空间精确性和音频保真性。HOA的优势是令人着迷的,因此广泛采用只是时间问题。

NAB 2016演示与新闻

在2016年4月的全国广播电视协会展(NAB Show)上,Qualcomm Technologies提供了很多新的令人兴奋的演示,展示了情景式音频和MPEG-H 3D音频标准。为了展示情景式音频的真正力量,我们搭建了一个拥有22个扬声器的模拟起居室,以便创造从简单的单声道一直到完全沉浸式设置的音频体验。

我们通过实况内容和预制内容演示了端到端电视广播链。我们展示的广播链的主要特点是:

°使用AVID控制台,对情景式音频进行实时录音和混合

°使用我们的ProTools HOA 插件对情景式音频剧院效果内容进行混合

°实时MPEG-H音频编码、监测和解码

°通过一个串行数字接口(SDI)框架传输HOA 

对于在我们的模拟起居室里的音频播放,我们演示了情景式音频带来的一些主要特性。在一个单一音频文件,灵活的渲染根据扬声器的数量和位置,动态生成适当的扬声器馈送。我们还展示了几种交互特性,例如与电视上观看的全景视频同步旋转与渲染声场,根据实时用户输入将音频缩放进视觉场景的某些部分,以及选择偏爱的解说语言。通过多比特率压缩,我们还展示了我们如何在减少传输带宽的同时,仍旧通过HOA提供高品质的立体音响体验。 

除了起居室扬声器设置,我们还演示了情景式音频如何让虚拟现实体验真正具有浸入式效果。我们在一个采用Qualcomm 骁龙820 处理器的运动追踪虚拟现实耳机上,创造了具有现实感的双耳音频和全景视频体验。

情景式音频完美适合虚拟现实

虚拟现实成为行业一个巨大兴奋点,而现实感位置音频是创造真正浸入式虚拟现实体验的一个核心组成部分。位置音频使来自各个方向的声音能够正确定位——只需根据相对于3D虚拟世界的头部位置动态调节声场即可做到。例如,在一架飞机飞过时,由于头部和飞机都在移动,来自飞机的声音需要重新定位。情景式音频在录制和播放位置音频方面具有很多优势。

对于音频采集,情景式音频录制整个声音场景,尽可能获得原声的现实表现——而且是实时完成的。这对于运动、音乐会或用户生成内容(如婚礼)等没有时间进行音频后期处理的直播活动来说是格外重要的。其他立体音频格式需要后期处理来对立体音频场景中的发声物体进行分离和空间化,而这对于直播活动来说是非常困难的。此外,情景式音频还提供从单一的麦克风阵列、分布式麦克风或从二者同时录制的灵活性,这允许简单的录制设置(以及录制设备)。其他的音频输入(也叫stem)也可以通过多种正在变成现实的新工具混合到情景式音频格式中。

对于虚拟现实播放,音频场景通过旋转来匹配用户的头部位置,然后从调节后的音频场景会产生一个双耳信号,在每侧耳朵播放。HOA系数对于旋转、伸展或压缩音频场景是有计算效率的。所以,通过情景式音频,无论音频场景多么复杂,很容易对它们进行旋转和创造双耳音响效果(旋转指的是摇摆、倾斜和滚动,如下图所示)。

通过情景式音频,无论音频场景多么复杂,很容易对它们进行旋转和创造双耳音响效果

我们很高兴看到随着情景式音频继续发展带来的可能性。情景式音频是构成Qualcomm Aqstic™ 的多种技术之一。Aqstic技术展示了QTI如何采取整体的方式提供最佳的音质,从情景式音频等录制和播放技术,到Aqstic 音频编解码和智能功率放大器。想要了解更多?请关注我们的情景式音频网站和白皮书来了解最新动态。

Opinions expressed in the content posted here are the personal opinions of the original authors, and do not necessarily reflect those of Qualcomm Incorporated or its subsidiaries ("Qualcomm"). The content is provided for informational purposes only and is not meant to be an endorsement or representation by Qualcomm or any other party. This site may also provide links or references to non-Qualcomm sites and resources. Qualcomm makes no representations, warranties, or other commitments whatsoever about any non-Qualcomm sites or third-party resources that may be referenced, accessible from, or linked to this site.