Qualcomm博客

创新驾驶方式,引领行业变革(二)

2020年1月7日

Qualcomm products mentioned within this post are offered by Qualcomm Technologies, Inc. and/or its subsidiaries.

为了提供安全、舒适、价格低廉的自动驾驶服务,我们必须解决要求最苛刻、最具挑战性的技术难题。不论是厘米级定位、多模态传感器感知、传感器融合,还是行为预测、行驶规划、路径规划与控制,可以说这其中每一项技术都具有独特的挑战,需要我们在道路上不断进行设计、检验、测试和部署。

从一开始,Qualcomm就致力于开发可扩展自动驾驶平台。为此,我们精心规划并开展了大量工作,打造出“Snapdragon Ride自动驾驶软件栈”(Snapdragon Ride Autonomous Stack)。这是一项安全可靠的解决方案,能够实现自动驾驶系统的优化部署,例如公路自动驾驶系统。为了开发“Snapdragon Ride自动驾驶软件栈”,我们首先设计了一个先进的异构系统架构来开发最优化的计算平台,该计算平台能够与自动驾驶软件栈同步扩展,从而开发出一个安全可靠、开放式的自动驾驶平台。在这篇博文中,我们将向您简要介绍该自动驾驶平台的一些核心技术模块。

开发安全可靠的公路自动驾驶系统

安全可靠的自动驾驶系统必须能够有效应对和处理各种交通状况。与基本的驾驶辅助系统相比,自动驾驶系统要复杂得多,因为前者无需从司机手中接管车辆的控制权。例如,在高速公路自动驾驶场景中,系统必须能够完成众多功能,例如车道保持、变道行驶、车道内操作、交通拥堵处理、立交桥处理、应对其他车辆的强行插入、摩托车车道分割、道路状况评估、潜在风险检测,等等。如果自动驾驶系统扩展到市内交通系统下,其复杂程度将呈指数级上升。
除了算法方面的挑战,自动驾驶系统对算力的要求也非常高。在特定的温控范围内达到这些要求并在成本上让消费者负担得起,对于开发安全可靠的自动驾驶系统来说至关重要。例如,高速公路自动驾驶系统必须有足够的计算能力来应对公路环境下的不可预测性。随着系统对最恶劣路况和极端状况的认识不断提升,系统还必须具有足够的性能余量来进行未来的扩展和升级。
Snapdragon Ride高速公路自动驾驶系统围绕两个关键模块进行设计和优化:
1. Snapdragon Ride自动驾驶软件栈
2. Snapdragon Ride自动驾驶硬件平台

接下来,我们将对该系统的技术部分进行略微深入的介绍。

Snapdragon Ride自动驾驶软件栈

Snapdragon Ride自动驾驶软件栈包括三个关键组件:

1. 感知:传感器感知和传感器融合
2. 定位:运用Qualcomm®视觉增强高精定位技术(VEPP)和地图融合技术进行高精度定位
3. 规划:行为预测与规划

感知和传感器融合软件栈

我们的感知部分主要运用摄像头和雷达来感知周围环境。目前的公路自动驾驶系统共配备了8个摄像头和6个雷达,这些摄像头和雷达分布在汽车四周,可以提供360度的全覆盖感知。我们运用深度学习(DL)和信号处理混合算法对摄像头和雷达传感器数据进行分析,从而对周围障碍物进行精确的检测和分类。为此,我们部署了30多个深度学习网络来完成各种不同功能,例如对二维和三维障碍物(汽车、卡车、货车、公共汽车、摩托车、行人)的检测和分类、车道类型检测和分类、信号灯状态识别、可用空间估算等。
此外,我们还运用深度学习算法对雷达传感器数据进行处理,将杂乱无章的雷达信号转化为信息丰富的结构化信号,并将其转化为带有可用空间信息的二维边界框(bounding boxes)平面图。

我们对所有深度学习网络都进行了优化,通过运用Qualcomm自主研发的相关工具(例如量化感知培训、硬件感知网络精简和内核优化),这些深度学习网络可在骁龙处理器的专用加速器上运行。此外,我们还运用网络架构搜索技术(NAS)对网络架构根据芯片硬件结构进行优化。
此外,我们还开发了一种可扩展、安全可靠的传感器融合算法,该算法能够将所有摄像头和雷达传感器的检测和分类数据进行融合与处理。传感器融合算法利用定位算法,能够选择性地使用高精度地图和C-V2X信息(如果可用的话)。该算法能够输出道路状况模型的多层次感知数据,例如动态障碍物移动轨迹、静态障碍物、道路使用情况和遮挡裁剪(occlusion grid)等。
考虑到传感器感知可能会受到周围环境状况、传感器覆盖范围和天气状况的干扰,我们开发了融合算法来解决这些不确定性,并以各种不同的方式将其传送到传感器融合算法输出端。例如,系统会对已知障碍物的不确定性进行评估并标记。而突然出现的障碍物(例如,来自车辆后方很远的地方,或刚刚从遮挡背景中出来)则用特殊的方式标记。这对于实现安全可靠的行为规划算法来说至关重要,因为它能够在不确定的情况下进行决策,为汽车用户提供安全、舒适、自信、人性化的驾驶体验。
高精度定位
经过大量研发,并结合Qualcomm多频全球导航卫星系统(MF-GNSS)解决方案,以及摄像头、惯性测量单元(IMU)和控制器局域网(CAN)传感器输入的数据,我们的第三代视觉增强高精定位(VEPP 3.0)算法,几乎在任何时间和地点都能实现车道级高精度定位。该解决方案主要依赖所有传感器输入数据的低水平融合,而不需要地图和要素匹配等任何先验信息。该解决方案目前已经在不同国家和环境条件下进行了测试。

地图融合
我们的地图融合算法采用了一种创新的解决方案,通过运用粒子滤波器来执行多假设跟踪,并运用VEPP 3.0、前置和侧置摄像头提供的数据来识别道路的定位特征。由于VEPP 3.0的输出信号具有较高的信噪比,加上创新的多假设粒子滤波器,我们的地图融合算法只需一个相对高精度地图,即可实现厘米级的精确定位。此外,我们的堆栈还支持行业领先高精度地图提供商的应用编程接口(API)。
行为预测和规划
我们的行为预测算法采用基于规则和机器学习的混合式解决方案,其中基于规则的解决方案能够综合考察道路规则、车道类型、车辆动力学(例如,加速/减速限制或角速度)等因素。而基于机器学习的解决方案则能够充分利用其他人收集的数据,这些人与本车行驶在同一条道路上。
所谓预测,本质上就是一个概率问题,就是对每个与本车相关的动态主体可能采取的操作/意图进行预判。除了预测每个动态主体的概率性意图外,我们还需要预测每个意图相关的移动轨迹。这是一个非常复杂的多维问题。

从本质上讲,我们的行为规划算法是一个分层算法,涵盖行驶规划和运动规划两部分。行驶规划,或称之为行为规划,目的是为本车的下一组行驶行为作出决策。从理论上讲,这是一个不完全可观察马尔可夫决策过程(POMDP),因为我们只能通过预测来“观察”其他动态主体的意图。行为规划的主要要求是在不确定的情况下做出决策,并确保为汽车用户提供安全舒适的驾驶体验。影响本车周围道路状况模型(RWM)不确定性的因素有很多,主要包括测量噪音引起的不确定性和与环境相关的不确定性。测量噪音包括固有的传感器噪声、感知管道中的误差,由于天气原因或在检测和跟踪静止或缓慢移动物体时的延迟而导致的传感器覆盖范围受限,以及从遮挡区域突然出现的物体等。环境不确定性包括由于大型障碍物或急转弯的遮挡而隐藏的RWM状态,或者实际上无法感知的参数,例如其他司机、自行车骑行者和行人等进入道路环境的意图。
我们采用基于规则和强化学习的混合算法来进行行为规划的计算。接着,计算生成的策略传输给运动规划算法,该算法执行轨迹和速度曲线搜索以执行所需的策略。搜索算法需要考虑加速度和加速曲线等因素,以及在每个未来运动轨迹点处与来自行为预测模块的预测轨迹的碰撞检查。根据交通密度和规划的前瞻时间范围,该模块可能有很严格的计算要求。

Snapdragon Ride硬件平台

考虑到实际交通状况的复杂程度、人性化驾驶所需的舒适性和确保安全的严格需求,自动驾驶所需的计算能力也越来越高。

Snapdragon Ride硬件平台旨在支持单个安全系统芯片(Safety SoC)、多个安全系统芯片或安全系统芯片以及安全加速器,以满足不同级别的SAE自动驾驶要求。例如,单个骁龙自动驾驶系统芯片能够支持SAE L2到L3级别的解决方案,该解决方案将能够使公路自动驾驶系统以高达每秒30万亿次(TOP)的速度大规模运行,同时支持小体积产品形态只需要做被动冷却,并且结合ADAS SoC和自动驾驶安全加速器的多SoC解决方案可以为L4到L5级别的自动驾驶解决方案(机器人出租车)提供支持,从而实现最高每秒700+万亿次的性能,同时功耗仅有130W。如此低的功耗,对于大规模汽车部署来说完全没有问题。
然而,在评估汽车计算系统的有效性时,仅仅使用TOPS、DMIPs等性能指标是不够的,而且常常会产生误导。这也正是Qualcomm开发集成式解决方案的优势所在。首先,此方案可以帮助客户深入洞察在设计一个面向实际使用的集成式自动驾驶系统系统的过程中遇到的复杂问题。若要用可预测的和更有效的方式打造实用的高性能系统,诸如多线程管理、安全操作系统和软件中间件设计、传感器同步和校准工具以及性能优化工具等,都是不可或缺的。
此外,所有这些性能都必须以可扩展性和先进的热效能等考量为前提。Qualcomm向来擅长对复杂的电源管理、优化和设计进行统筹,在有限的功耗预算内提供顶级的性能,这为打造无需复杂水冷系统的自动驾驶解决方案提供了巨大的优势。例如,在Snapdragon Ride公路自动驾驶系统中,应用程序处理器加载了以下工作负载:
● 用于8个摄像头、6个雷达及多个其他传感器(如多频全球导航卫星系统)的感知和传感器融合。这需要部署30多个深度学习网络,以便处理高分辨率数据,从而对数以百计的动态障碍物、静态障碍物、车道类型、交通标志、交通信号灯以及可行驶空间进行检测和分类。
● 基于VEPP3.0和地图融合的定位。
● 通过运用深度学习和强化学习算法来创建道路环境模型,进行行为预测和行为规划,以便预测道路上其他动态主体的行为和移动轨迹,从而为本车的操作做出决策。
对于普通应用处理器而言,要同时运行所有这些工作负载,通常需要极高的运行速度。然而,Qualcomm借助先进神经处理引擎、高吞吐量数据管道和性能优化工具,在单个系统级芯片内以最佳能效和显著优化的散热解决方案,打造出符合公路自动驾驶性能要求的解决方案。

我们的综合平台采用开放式软件,聚合多个ECU,在具备更高高性能的同时保证更低功耗,有助于Tier1和汽车制造商兼顾从主动安全和全自动驾驶的各个功能层级,同时降低整体开发成本。我们独特的开放式栈整合经过优化的软件和硬件,不仅为客户提供更大的自定义空间,也让该等软件和硬件更加透明,能够帮助汽车制造商将产品快速推向市场。
显而易见,汽车设计商的发展路径正在从主动安全逐渐进入便利功能这一前景明朗的细分市场。而且,随着客户对全自动驾驶功能的要求日渐增加,Qualcomm的开放式平台在可扩展性、降低开发成本以及提高开发效率方面将赋予客户更多的优势。
请持续关注本系列的后续博文,以了解Snapdragon Ride平台的技术洞见。通过该平台,原始设备制造商和汽车设计商将看到,无需从零开始,也能打造出舒适便利的自动驾驶汽车。此外,欲了解更多有关Qualcomm汽车计算技术和无线技术解决方案,请继续关注本系列的文章。

关注微博或扫描下方二维码关注微信公众号(ID:Qualcomm_China),了解更多 Qualcomm 资讯。

 

 

 

 

 

 

Opinions expressed in the content posted here are the personal opinions of the original authors, and do not necessarily reflect those of Qualcomm Incorporated or its subsidiaries ("Qualcomm"). The content is provided for informational purposes only and is not meant to be an endorsement or representation by Qualcomm or any other party. This site may also provide links or references to non-Qualcomm sites and resources. Qualcomm makes no representations, warranties, or other commitments whatsoever about any non-Qualcomm sites or third-party resources that may be referenced, accessible from, or linked to this site.

相关新闻及博客

©2020 Qualcomm Technologies, Inc. and/or its affiliated companies.

沪公网安备 31011502004712 号

沪ICP备17015640号-4

References to "Qualcomm" may mean Qualcomm Incorporated, or subsidiaries or business units within the Qualcomm corporate structure, as applicable.

Qualcomm Incorporated includes Qualcomm's licensing business, QTL, and the vast majority of its patent portfolio. Qualcomm Technologies, Inc., a wholly-owned subsidiary of Qualcomm Incorporated, operates, along with its subsidiaries, substantially all of Qualcomm's engineering, research and development functions, and substantially all of its products and services businesses. Qualcomm products referenced on this page are products of Qualcomm Technologies, Inc. and/or its subsidiaries.

Materials that are as of a specific date, including but not limited to press releases, presentations, blog posts and webcasts, may have been superseded by subsequent events or disclosures.

Nothing in these materials is an offer to sell any of the components or devices referenced herein.