Qualcomm博客 Blog

基于情景的音频应用在路上

2016年8月25日

Qualcomm products mentioned within this post are offered by Qualcomm Technologies, Inc. and/or its subsidiaries.

Qualcomm一年多以前开始探讨关于基于情景的音频技术,目的是获得身临其境的声效。现在,我们在这方面已取得很大进展——这种情景式音频已被视为沉浸式虚拟现实(VR)的理想技术。针对整个音频情景,首先利用高阶高保真立体声(HOA)创造一个紧凑高保真样板,然后在播放位置根据需要以最佳方式重新创造整个音频情景。这意味着你听到的声音是非常逼真的——是来自正确方位的高保真立体声音,带来真正的沉浸式体验。

情景式音频的进展和趋势

作为一种新兴技术,情景式音频有几个市场推广路径。2015年10月,MPEG-H 3D音频标准发布,此国际标准支持基于场景的音频。MPEG-H是ATSC 3.0(高级电视系统委员会)音频编解码的两个候选方案之一。ATSC 3.0是美国、韩国等国家下一代数字电视空中传输的规格。作为采用的一个标志,所有韩国广播公司将实施MPEG-H 3D音频标准作为韩国的广播音频格式。这是特别令人兴奋的,因为2018年韩国冬季奥运会将是展示MPEG-H3D音频交互性能的一个窗口。此外,为了支持广泛的设备互操作性,MPEG-H也纳入到了DisplayPort和HDMI 规格中。

情景式音频在标准之外也引起了越来越多的关注。例如,YouTube 支持第一阶环境立体声(FOA),为全景视频带来空间音频。最近,YouTube为点播视频引入了空间音频,目前正在积累内容。基本FOA已在单一格式中提供了立体声3D音频优势,可以根据不同设备的扬声器配置进行调节,而向HOA演进能够带来更好的空间精确性和音频保真性。HOA的优势是令人着迷的,因此广泛采用只是时间问题。

NAB 2016演示与新闻

在2016年4月的全国广播电视协会展(NAB Show)上,Qualcomm Technologies提供了很多新的令人兴奋的演示,展示了情景式音频和MPEG-H 3D音频标准。为了展示情景式音频的真正力量,我们搭建了一个拥有22个扬声器的模拟起居室,以便创造从简单的单声道一直到完全沉浸式设置的音频体验。

我们通过实况内容和预制内容演示了端到端电视广播链。我们展示的广播链的主要特点是:

°使用AVID控制台,对情景式音频进行实时录音和混合

°使用我们的ProTools HOA 插件对情景式音频剧院效果内容进行混合

°实时MPEG-H音频编码、监测和解码

°通过一个串行数字接口(SDI)框架传输HOA 

对于在我们的模拟起居室里的音频播放,我们演示了情景式音频带来的一些主要特性。在一个单一音频文件,灵活的渲染根据扬声器的数量和位置,动态生成适当的扬声器馈送。我们还展示了几种交互特性,例如与电视上观看的全景视频同步旋转与渲染声场,根据实时用户输入将音频缩放进视觉场景的某些部分,以及选择偏爱的解说语言。通过多比特率压缩,我们还展示了我们如何在减少传输带宽的同时,仍旧通过HOA提供高品质的立体音响体验。 

除了起居室扬声器设置,我们还演示了情景式音频如何让虚拟现实体验真正具有浸入式效果。我们在一个采用Qualcomm 骁龙820 处理器的运动追踪虚拟现实耳机上,创造了具有现实感的双耳音频和全景视频体验。

情景式音频完美适合虚拟现实

虚拟现实成为行业一个巨大兴奋点,而现实感位置音频是创造真正浸入式虚拟现实体验的一个核心组成部分。位置音频使来自各个方向的声音能够正确定位——只需根据相对于3D虚拟世界的头部位置动态调节声场即可做到。例如,在一架飞机飞过时,由于头部和飞机都在移动,来自飞机的声音需要重新定位。情景式音频在录制和播放位置音频方面具有很多优势。

对于音频采集,情景式音频录制整个声音场景,尽可能获得原声的现实表现——而且是实时完成的。这对于运动、音乐会或用户生成内容(如婚礼)等没有时间进行音频后期处理的直播活动来说是格外重要的。其他立体音频格式需要后期处理来对立体音频场景中的发声物体进行分离和空间化,而这对于直播活动来说是非常困难的。此外,情景式音频还提供从单一的麦克风阵列、分布式麦克风或从二者同时录制的灵活性,这允许简单的录制设置(以及录制设备)。其他的音频输入(也叫stem)也可以通过多种正在变成现实的新工具混合到情景式音频格式中。

对于虚拟现实播放,音频场景通过旋转来匹配用户的头部位置,然后从调节后的音频场景会产生一个双耳信号,在每侧耳朵播放。HOA系数对于旋转、伸展或压缩音频场景是有计算效率的。所以,通过情景式音频,无论音频场景多么复杂,很容易对它们进行旋转和创造双耳音响效果(旋转指的是摇摆、倾斜和滚动,如下图所示)。

通过情景式音频,无论音频场景多么复杂,很容易对它们进行旋转和创造双耳音响效果

我们很高兴看到随着情景式音频继续发展带来的可能性。情景式音频是构成Qualcomm Aqstic™ 的多种技术之一。Aqstic技术展示了QTI如何采取整体的方式提供最佳的音质,从情景式音频等录制和播放技术,到Aqstic 音频编解码和智能功率放大器。想要了解更多?请关注我们的情景式音频网站和白皮书来了解最新动态。

相关新闻及博客

Qualcomm博客

还在寻找第一个5G“杀手级应用”使用案例?就在你口袋里!

虽然我们距离真正的基于全球5G标准(5G NR)的5G大范围商业部署尚有若干年时间,但围绕5G的宣传已经铺天盖地。5G在过去一年增长迅猛,在今年早些时候于巴塞罗那举行的世界移动大会上达到顶峰,会场几乎处处可见5G标签,5G几乎可以解决人们能够想到的任何问题。
请不要误会我的意思。Qualcomm对于5G能够带来的可能性感到非常惊喜。我们讨论5G愿景已经有一段时间,希望利用这一人类历史上最大的移动技术平台并将其扩展到几乎每个行业、每个设备和每个连接。从行业角度来说,关注点需要转向将5G愿景变成现实,推动基于全球5GNR标准的第一阶段的商业部署。

所幸的是,你可以通过之前所有的5G宣传,见证过去的一年所取得的重大进展——5G NR即将变为现实。实际上,我们正在加速进度。日前,Qualcomm和合作的移动行业领导企业,如AT&T、NTT DOCOMO、SK电信、沃达丰、爱立信等组成一个40多家企业的联盟,致力于加快5G NR进度,争取在2019年实现大范围测试和部署(“3GPP就加速全球5G标准——5GNR于2019年部署达成共识”)。

那么有哪些使用案例在推动这一过程呢?提示:你身边已经有一个案例。

我承认这不是什么新奇的回答。我理解人们迫切希望听到的是一些行业的流行词汇,如自动驾驶汽车、物联网等。还是请不要误会我的意思。5G NR的设计完全旨在满足各类极端的要求,使其能够在未来十年以及更远的将来,作为一个连接结构服务于改变世界的一系列使用案例,包括上述提及的流行词汇。但是随着消费者在智能手机和其它设备上不断使用越来越多的数据(尤其是视频),将在2019年启动的5G NR第一阶段将解决不断增长的移动宽带需求。

到2021年,普通消费者的智能手机将从当前每月消耗1.6GB数据增长到每月消耗7GB数据(来源:思科视觉网络指数:2016-2021年全球移动数据流量预测更新)。这来自于视频流量的爆炸式增长,移动产品越来越成为媒体和娱乐的来源,以及实时在线的云计算/体验的大规模增长。

数据1:5G NR将发挥媒体和娱乐功能。

在这一新兴的视频密集型使用案例之上还有增强现实和虚拟现实、移动宽带在车辆上的扩大使用等更多案例,你可以感受到为什么我们需要5G增强移动宽带服务。

数据2: 5GNR将满足AR和VR不断增长的连接需求。

别担心,我们不会等待2019年再解决这一不断增长的移动宽带需求。今年,我们已经启动了千兆级 LTE,Qualcomm在其中发挥领导作用。千兆级 LTE 利用先进 LTE 技术,如载波聚合和4x4 MIMO天线技术,让人们得以一窥5G像光纤般的性能。千兆级LTE不但对解决当前的移动宽带需求十分重要,它还将在5GNR启动时,在5G移动宽带中继续发挥至关重要的作用,为更加无缝式的移动用户体验提供覆盖。全球首个千兆级LTE设备和移动网络目前已经由Telstra在澳大利亚实现全面商运,全球多个运营商已经宣布计划,在2017年部署或测试千兆级 LTE,其中包括美国全部四家主导的移动运营商。此外,具备千兆级速度的首部商业智能手机即将面世(请见索尼Xperia XZ Premium、三星盖乐世S8),搭载集成骁龙X16 LTE调制解调器的骁龙835移动平台。

但是LTE的持续扩张和进化还不够。移动数据的使用不只是在我们的手机上,还在我们的车辆、平板电脑、AR/VR眼镜上不断增长。用户体验需求不断推动连接的边界——不但需要更快的数据传输速率,也需要更低的时延来实现更好的实时性能和感知控制,以及新用户体验时更强的一致性,例如沉浸式高保真360度视频流、互联云计算,对一致性能的需求几乎无处不在。除此之外,移动宽带服务的收入增长开始持平,移动网络运营商急需解决方案来有效提升能力,以更低的每比特价格提供用户体验。这些不断增长的移动宽带需求使得行业联合起来,加速推动5G NR从2019年开始进行商业部署。

先进的3GPP 5G NR技术,例如支持更广带宽的可扩展式OFDM波形和大规模 MIMO天线技术,将满足这些不断增长的需求,提供新水平的性能和效率。5G NR技术将以远低于目前网络的延迟时间(网络延迟时间最低1ms,比蜂鸟翅膀扇动快5倍以上)提供更快、更统一的数据率(即便在室内或蜂窝网络边缘等挑战性环境中也可达到100+Mbps)。这包括先进5G NR技术,利用大型的24GHz以上的mmWave波谱带宽,能够带来极限数据传输速度和性能。5G NR将”利用”具有先进天线技术的mmWave,实现移动设备(包括智能手机)的可持续移动宽带通信,即使非视距通信和设备移动性也可以实现。

此外,5G NR技术在mmWave和6GHz以下频段中能够帮助移动网络运营商以极低的成本,提供强化的移动宽带服务(可低至8倍以上,基于Mobile Experts LLC,一家分析无线网络市场的市场和技术专家网站)。效率的提升不但可以使移动网络运营商更有效地解决日益增长的需求,也会为他们打开潜在的新业务模式,探索增加服务收入。

从Qualcomm的角度,我们多年来一直开发并构建5G NR的基础,早在3GPP标准化开始前就已着手此事。我们的领导团队、发明和创新从网络界面到系统架构,为推动目前的5G技术标准化发挥了关键作用,协助建立了移动行业内的广泛共识。日前我们宣布推出首款成功的基于3GPP的5G NR连接。现场演示的5G NR以Qualcomm Research5G NR原型系统为基础,展现了基于关键设计决定的多个先进5G NR技术,已经成为5G NR 3GPP标准化的一部分,并清楚地表明了首个5G NR规范取得的重大进展。

当然,在2019年实现5G NR部署需要的不只是研发测试和3GPP规范。它还需要与3GPP 5G NR规范匹配的OTA测试和互操作性测试,在真实世界场景的各类使用案例和部署场景中测试和模拟5G NR技术。Qualcomm与全球网络运营商和基础设施供应商合作(请见数据3中宣布的测试),主导这些测试工作。此外,5G NR部署加速时间表还需要设备的支持。。这也是为什么我们于日前宣布扩大我们的骁龙X50 5G调制解调器家族产品,包括新的多模式2G/3G/4G/5G调制解调器,支持全球5G NR标准——涉及6GHz以下频段和多频段mmWave,以及单芯片使用的千兆级 LTE。

数据3: 引领符合3GPP的5G NR测试。

在所有5G宣传中,我们不要忽视加速全球5G标准所取得的巨大成就——5G New Radio(NR)——推动2019年进行大规模部署。这些部署不但带来新水平的能力和效率,在移动设备上实现像光纤般的性能,还将确立2020年及未来更长远的5G愿景的基础。欲知更多关于这些5G NR技术以及Qualcomm通过各种方式领导千兆级LTE、5G NR和下一代移动宽带业务情况,请下载我们的最新演示,并观看最近的按需提供网络研讨会“从宣传到现实:加速5G NR实现增强型移动宽带及未来发展”。

2017年5月18日