自动驾驶@@车辆数据的@@中央集中式处理@@@@

作者@@: Senya Pertsel ,来源@@:Ambarella安霸@@半导体@@

科技进步推动产品创新@@,给各行各业的@@设计师们带来了前所未有的@@挑战@@,这一点在汽车行业尤为明显@@。汽车厂商正努力将@@已实现@@ ADAS 功能的@@@@ L2 自动驾驶@@技术@@升级到@@@@ L3 和@@ L4,并最终能在自动驾驶@@领域@@,将@@基于@@ AI 的@@系统@@发展到@@@@ SAE 6 级水平@@。L3 级乘用车已在全球多个@@地区上路行驶@@,L4 级自动驾驶@@出租车目前也在旧金山等城市街道上进行广泛试验@@(在有些地区已投入商业使用@@@@)。但是@@,在这些车辆大规模投入市场之前@@,仍存在许多商业@@、物流和@@监管方面的@@挑战@@。

汽车厂商面临的@@挑战之一是要弥合两种情况之间的@@差距@@:一边是于少数技术@@实例的@@概念验证@@,另一边是将@@概念转化成为稳健@@、可重复和@@实用的@@大规模制造和@@部署@@。后者要求设计稳定@@、安全@@、可靠@@,并且定价合理@@。

在进行概念验证时@@,可以通过不同的@@途径实现目标@@。“自上而下@@”的@@方法是在车辆中集成尽可能多的@@硬件@@、传感器和@@软件@@,然后通过实现融合@@、降低复杂性@@,达到@@性能@@、成本和@@重量@@目标@@。相反@@,“自下而上@@”的@@方法则更有条理@@,汽车厂商先完成一个@@级别的@@自动驾驶@@设计@@,然后再收集数据并克服必要的@@挑战@@,达到@@下一个@@级别@@。后一种方法越来越受到@@大型主机厂的@@青睐@@。

设计过渡从@@L2到@@L3到@@L4逐步提升@@

汽车要提供先进的@@@@ ADAS 系统@@,并最终实现自动驾驶@@@@,必须感知周围环境@@,然后根据@@ “看到@@的@@内容@@”采取行动@@。车辆对环境的@@认知越准确@@,就能做出越好的@@决策@@,行车也越安全@@@@。因此@@,设计自动驾驶@@汽车时@@,首先要确定部署在车辆周围的@@传感器数量和@@类型@@。在环境传感方面@@,有三种常用技术@@@@:图@@像传感器即摄像头@@、毫米波雷达@@和@@激光雷达@@,三者各有利弊@@。

在上述的@@三种传感器中@@,很明显@@,摄像头和@@激光雷达的@@算法@@处理@@已经普遍在中央域控了@@,而目前市场上的@@各类毫米波雷达@@@@,通常还是前端处理@@@@,生成目标以后@@,再送到@@中央域控@@,而并非中央集中处理@@@@。我们将@@在本文中着重介绍对于@@ 4D 成像毫米波雷达@@进行中央集中处理@@的@@必要性和@@安霸@@@@ CV3 在这方面的@@技术@@优势@@。

一旦确定了车辆对传感器的@@需求@@,就要做出一系列关键决定@@,包括设计系统@@架构和@@选择@@配备@@合适的@@处理@@器@@。这就需要从根本上考虑是集中处理@@传感器数据@@,还是在前端处理@@传感器数据@@。

图@@1 确定传感器架构是自动驾驶@@汽车取得成功的@@前提@@.png

图@@1 确定传感器架构是自动驾驶@@汽车取得成功的@@前提@@

传统@@ 3D 雷达技术@@虽然成本较低@@,但在感知能力存在着一些不足@@。通常毫米波雷达@@做前端计算@@,生成目标以后@@,在域控里和@@来自摄像头的@@感知结果做后融合@@。这种@@方式因为在前端的@@信息损失@@,不仅使得@@ 3D 雷达的@@作用被大大削弱@@,并且在视觉感知高度发展的@@今天@@,传统@@ 3D 雷达有靠边站的@@趋势@@。

随着毫米波雷达@@技术@@的@@演进@@,我们看到@@@@ 4D 成像毫米波雷达@@的@@技术@@指标比起传统@@@@ 3D 毫米波雷达@@有了大幅的@@改进@@,包括多了一个@@高度维度@@,看得更远@@,点云更密集@@,有更好的@@角分辨率@@,对静止目标检测更可靠@@@@,更低的@@误检和@@漏检等@@。4D 成像毫米波雷达@@之所以有这些技术@@优势@@,往往来自于更复杂的@@调制技术@@@@,和@@更复杂的@@点云算法@@@@,跟踪算法@@等@@。因而@@ 4D 成像毫米波雷达@@往往需要专门的@@雷达处理@@芯片@@才能达到@@所需的@@高性能@@。目前市场上已经存在一些在前端雷达模块中添加雷达@@ DSP 或@@ FPGA 来进行前端计算的@@设计@@。虽然这些前端计算的@@@@ 4D 成像毫米波雷达@@有些展现出比传统@@@@ 3D 雷达更好的@@性能@@,成本较高@@,不利于广泛应用@@。

而在@@集中式处理@@方法下@@,由于所有传感器的@@原始数据都在一个@@中心点进行合并@@,数据进行融合时不会丢失关键信息@@。由于不在前端进行处理@@@@,毫米波雷达@@传感器模块大大简化@@,从而缩小了尺寸@@,降低了功耗和@@成本@@。此外@@,大多数毫米波雷达@@都位于车辆保险杠后侧@@,最大限度地降低事故后的@@维修费用@@。

集中式处理@@方法还能让研发人员灵活地实时调整毫米波雷达@@数据和@@摄像头数据的@@相对重要性@@,在各种环境天气和@@驾驶条件下提供最佳的@@环境感知能力@@。举例来说@@,在恶劣天气条件下@@,沿高速公路行驶时@@,毫米波雷达@@数据将@@发挥更大优势@@;而在@@拥挤的@@城市中缓慢行驶时@@,摄像头在识别车道线@@,读取道路标志和@@场景感知@@,识别危险方面将@@发挥更重要的@@作用@@;而激光雷达对于一般障碍物检测和@@夜晚@@ AEB 方面更有特色@@,动态配置传感器套件可以节省处理@@器资源@@,降低能耗@@,同时提高@@环境感知能力和@@安全@@性@@。

前端处理@@与中央域控处理@@@@4D成像毫米波雷达@@的@@比较@@

前端处理@@成像雷达@@

1. 算力受限@@,更大的@@算力带来更大的@@功耗@@,影响雷达数据密度和@@灵敏度@@@@

2. 固定的@@计算模式@@,必须为最恶劣的@@场景考虑@@,虽然在常见场景用可能用不到@@@@

3. 更高的@@雷达前端成本@@, 因为雷达的@@数据处理@@放在前端节点@@,增加成本@@

4. 传感器融合过于简单@@,只能用目标级融合@@

中央处理@@的@@域控雷达@@

1. 为更强大更高效的@@集中处理@@@@,雷达可以得到@@更好的@@角分辨率@@,数据密度和@@灵敏度@@

2. 算力可以根据场景@@,在几个@@雷达之间动态调整@@,以达到@@更好的@@算力利用率@@,提升感知结果@@

3. 更低的@@雷达前端成本@@,因为雷达的@@前端只有传感器@@,没有计算单元@@

4. 可以做@@4D雷达数据和@@摄像头数据深度的@@深度融合@@

SoC 选择@@

随着电动汽车的@@普及@@,如何节约电能并最大限度地提高@@@@“每次充电的@@续航里程@@ ”成为每个@@车辆零部件的@@关键考虑因素@@。节能是集中式@@ AI 域控芯片@@的@@优势@@。有些多芯片@@中央域控消耗大量电能@@,因而@@缩短了车辆的@@续航里程@@。如果@@ SoC 产生的@@热量过大@@,需要设计主动冷却方案@@,甚至某些架构需要液体冷却@@,这就大大增加了汽车的@@尺寸@@、成本和@@重量@@,从而降低了电池续航能力@@。

AI 智驾软件正迅速成为系统@@的@@关键要素@@,AI 的@@实现方式对@@ SoC 的@@选择@@@@,以及@@开发系统@@所花费的@@时间和@@资金投入都有重大影响@@。关键是如何以最小的@@工作量和@@能源@@,运行最新的@@神经网@@络算法@@@@,但又不牺牲精度@@。这不仅需要仔细考虑硬件该@@如何实现神经网@@络@@,还要考虑为中间件@@、设备@@驱动程序和@@@@ AI 工具提供支持@@,缩短开发时间并降低风险@@。

车辆出厂后@@,无论是解决某个@@问题@@,还是新增功能@@,软件都需要持续更新@@。基于单个@@域控制器的@@集中式架构简化了这一过程@@,OTA 升级的@@实现@@,解决了目前需要单独更新每个@@前端模块软件的@@难题@@(更加昂贵和@@复杂@@)。这种@@ OTA 方法也意味着系统@@网@@络安全@@是设计过程中需要解决的@@另一个@@重要领域@@。

SoC 的@@选择@@@@影响着设计过程的@@各个@@方面@@,包括整辆自动驾驶@@汽车的@@效能@@。为了赋能大型主机厂更快落地极具性价比的@@智驾产品@@,综合性地考虑到@@客户需求@@,为客户带来主攻@@ L3/L4 旗舰智驾系统@@的@@大算力中央域控@@ AI 芯片@@ CV3-AD685,该@@芯片@@可实现@@ 4D 成像毫米波雷达@@原始数据的@@集中式处理@@和@@深度融合@@。

为什么安霸@@傲酷雷达可以做@@到@@成本更低呢@@? 

这是因为@@,传统@@ 4D 成像毫米波雷达@@使用@@固定的@@调制技术@@@@,需要根据调制方案对性能进行折中@@。不过@@,采用基于@@ AI 的@@实时动态波形的@@新兴@@ 4D 成像毫米波雷达@@设计正在帮助解决这一难题@@。将@@ “稀疏化阵列天线@@”与可动态学习并适应环境的@@@@ AI 算法@@(即虚拟孔径成像@@(VAI)技术@@)相结合@@,从根本上打破了调制带来的@@性能折中@@,可将@@@@ 4D 成像毫米波雷达@@的@@分辨率提高@@至@@ 100 倍@@。这大幅度提高@@了角度分辨率@@,以及@@系统@@性能和@@精确度@@,而天线数量也减少了一个@@档次@@,外形尺寸@@、功率预算@@、数据传输要求和@@成本也相应降低@@。

如何在@@ CV3 上做中央域控雷达设计呢@@? 

CV3 支持雷达前端传感器直接传输@@ RAW 数据到@@域控@@,而在@@ CV3 上完成必要的@@雷达计算包括高质量点云生成@@,处理@@,跟踪等算法@@@@。CV3-AD685 上带有专用@@ 4D 成像毫米波雷达@@处理@@硬件单元@@,简洁而高效地完成多个@@雷达同时工作时的@@数据处理@@@@。

图@@ 3 显示了一个@@功能强大的@@@@ SoC 框图@@@@,它是安霸@@的@@@@ CV3-AD685。该@@ SoC 专为汽车中央域控制器而设计@@,可高性能运行各种神经网@@络算法@@@@,实现完整的@@自动驾驶@@解决方案@@。CV3-AD685 带有专业图@@像信号处理@@单元@@、可使用@@各种传感器感知@@(如来自摄像头@@、毫米波雷达@@、超声波雷达和@@激光雷达@@)、执行多种传感器的@@深度融合@@,运行车辆路径预测规划控制等算法@@@@。CV3-AD 系列专为汽车智驾设计的@@架构与@@ GPU 等竞品芯片@@架构截然不同@@,GPU 一般采用更为通用的@@并行计算设计@@,以运行各种不同的@@应用@@。因而@@在@@运行智驾应用的@@时候@@,CV3 比竞品的@@效率更高@@,功耗更低@@。

3 安霸@@ CV3-AD685 SoC 框图@@@@.JPG

图@@3 安霸@@ CV3-AD685 SoC 框图@@@@,该@@芯片@@专为汽车应用中的@@集中式@@AI域控而设计@@。

如图@@@@ 3 所示@@,该@@ SoC 集成了神经网@@络处理@@器@@(NVP),通用矢量处理@@器@@ (GVP)(用于@@加速通用机器视觉算法@@和@@毫米波雷达@@处理@@@@)、高性能图@@像信号处理@@器@@(ISP) 、12 个@@ Arm® Cortex®-A78AE 和@@多个@@@@ R52 CPU,双目立体视觉和@@密集光流引擎@@、以及@@ GPU(用于@@ 3D 渲染如@@ AVM )。CV3-AD系列的@@整体架构和@@@@ CV3-AD685 相同@@,适用于@@从@@ L2+ 到@@ L4 级汽车智驾系统@@@@,拥有充沛算力和@@安全@@冗余@@,可运行完整的@@自动驾驶@@解决方案@@。其@@ AI 性能则在高性能@@ GPU 的@@ 3 倍@@左右@@,尽管性能出众@@,这款@@ SoC 的@@工作功耗却大幅低于竞品@@。因此@@,使用@@ CV3-AD685,与竞品芯片@@相比@@,在电池容量相同@@的@@情况下@@,电动汽车的@@续航里程至少可增加@@ 30 公里@@。另外@@,在保持相同@@续航里程的@@情况下@@,电池成本可以大幅降低@@,电池重量也可以减少几公斤@@。

总结@@

近年来@@,智驾技术@@取得了质的@@飞跃@@。不同的@@智驾高级功能成为主流已有一段时间@@,随着汽车厂商不断创新突破@@,其@@他新功能也不断涌现@@。汽车行业现在面临的@@挑战是如何将@@目前的@@@@ L3 和@@ L4 级智能驾驶试验车全面投入生产@@。

这一进步的@@关键在于传感器的@@选择@@@@@@,包括车辆的@@结构和@@域控芯片@@的@@选择@@@@@@。使用@@专为集中式传感器融合设计的@@处理@@器@@,以及@@基于@@ AI 的@@创新技术@@@@(如稀疏化毫米波雷达@@阵列@@),自动驾驶@@汽车可以集中处理@@毫米波雷达@@数据@@,并将@@其@@与摄像头数据进行融合@@,对车辆周围动态环境做出及时反应@@。这种@@性能和@@灵敏度的@@提高@@可以减少对激光雷达的@@依赖性@@,进一步降低成本@@,并且达到@@更好的@@环境感知性能@@。