自动驾驶汽车需要摄像头、雷达和激光雷达（LiDAR）等传感器来了解车辆周围的环境，同时还需要算力和人工智能来分析多维或多源数据流，实时为车辆提供完整且一致的环境视图。传感器融合为车辆的完全自主指明了方向，但仍然存在许多技术挑战。
在2020布鲁塞尔汽车传感器大会的一场演讲中，英飞凌公司奥地利区的概念工程师Norbert Druml分享了该公司在欧洲开展的一项雄心勃勃的研究项目——耗资5100万欧元、实现汽车智能化的Prystine可编程系统。Druml展示了目前所取得的重要成果，包括自动驾驶L3级别以上的失效可操作性（fail-operational）检测与控制，以及由AI控制的样车。
Prystine联盟包含60个合作伙伴，分别来自欧洲及欧洲以外的14个国家，其中有宝马、福特和玛莎拉蒂等汽车制造商，英飞凌和恩智浦等半导体公司，还有一些技术合作伙伴和研究机构。
图1：自动驾驶汽车需要传感器实时为车辆提供完整的环境视图。（图片来源：Prystine）
随着车辆实现的自主功能越来越多，驾驶员将不再只专注于驾驶，而是花费更多精力来监控承担驾驶任务的智能系统。在L3级自动驾驶中，当系统失效或自动驾驶功能达到操作极限时，驾驶员可以接管驾驶任务。但在L4和L5级的自动驾驶中，却不能依赖驾驶员及时进行正确的干预，自动驾驶功能必须能够自行处理危急情况。因此，在自动驾驶的检测、预测和行动阶段，失效可操作性至关重要。
图2：英飞凌公司奥地利区的概念工程师Norbert Druml。
Prystine的一个主要目标就是实现FUSION（Fail-operational Urban Surround Perception，失效可操作城市环境感知），它基于强大的雷达和激光雷达传感器融合技术以及控制功能，可以确保在乡村和城市环境中，当恶劣天气导致传感器失效时，车辆仍然能够安全地自动驾驶。
“他们的目标是从失效安全（fail-safe）系统演进为失效可操作系统，”Druml说，“从而真正提高未来汽车中所有组件的安全性。这些组件包括安全控制器、传感器、雷达、激光雷达、摄像头以及具有处理能力的计算平台等。”
根据Prystine合作伙伴们的设想，失效可操作系统在检测到故障时不会关闭全部功能。“相反，它将激活具有部分功能的后备系统，并减慢速度将车辆驾驶到下一个休息区。”Druml说。
为了实现Prystine所定义的FUSION，需要重点开发四个AI算法组，具体如下所述。
在欧盟因道路交通事故而死亡的人数中，行人占22％，骑行者占8％。该算法组通过融合来自雷达、激光雷达和摄像头传感器的数据，检出容易发生交通事故的群体（如行人、骑行者、儿童、残疾人和老年人）。SuperSight方案旨在消除盲点，使上述人群在进入驾驶员的视野之前就可以被发现。Prystine合作伙伴称，SuperSight还可自动进行安全报警，提高驾驶员的警觉性，从而减少交通事故。该方案在车辆四周安装了摄像头，具有360°视频处理能力。
图3：算法组融合来自雷达、激光雷达和摄像头传感器的数据，可检出易发生交通事故的群体。（图片来源：Prystine）
车辆从L2和L3级的自动驾驶发展到L4级，需要应对更复杂的交通状况和道路网络，尤其是在城市中。Prystine合作伙伴正在研究一种交通管理解决方案，可以融合来自交通控制器、浮动车数据和自动车牌识别摄像头的交通数据。“我们融合这些数据，为汽车和道路使用者提供交通预测，”Druml说，“它提供的视野比汽车的实际视野更大，车辆可以利用这些数据优化其行程并规划行驶路线。”例如，汽车可能会调整其行驶路线和速度，以便赶上绿灯，同时缩短行驶时间并减少能耗。
Prystine联盟评估了各种传感器技术，如激光三角测量、雷达和超声成像，它们可以扫描路面状况，车辆可以通过更改阻尼系数或悬架系统的垂直位置来应对这些状况。Druml说：“算法会分析前方道路的几何特性，调整汽车悬架，使用户感觉不到道路上的坑洼或颠簸，大大提升了驾驶车辆的舒适性。”
Druml说，这组算法可用于碰撞检测、碰撞避免、车道改变、紧急停车、超车、重型卡车和全尺寸拖车的后向操控，以及启/停安全控制等，部署在具有三个复杂度等级的样车中。第一个等级称为共享控制方案，基于AI的辅助驾驶系统“不断分析车辆行驶轨迹，当检测到安全攸关的紧急状况时，AI辅助驾驶系统将为驾驶员提供支持，并以安全的方式解除危险警报。”
Druml说，第二个等级称为分级控制，“可以在不同的自动驾驶级别之间实现平滑切换”。例如，车辆可以从“受监管的城市控制模式切换为城市司机模式，它的实现不仅需要连续监控驾驶场景和汽车周边情况，还要分析驾驶员的状态和操作的复杂性。”
第三个复杂度等级是完全由AI控制车辆。“在这里，我们融合了来自雷达、激光雷达和摄像头的传感器数据，并结合了云信息，尤其是交通状态和交通预测信息，以改进自动驾驶AI解决方案。”Druml说。
他说，Prystine项目为期三年，将于2021年4月结束，但该项目的愿景不会终止。“我们（合作伙伴们）共同筹措资金，以加快开发和研究进程。”
激烈的竞争加速了自动驾驶汽车的出现，使传感器融合算法的开发取得重大进展。但是，自动驾驶汽车的传感器融合发展到了什么程度？市场参与者们需要做什么？
图4：Yole Développement（法国里昂）的技术和市场分析师Pierrick Boulay。
笔者向Yole Développement（法国里昂）的技术和市场分析师Pierrick Boulay提出了这些问题。
Boulay回答：“汽车E/E(电气/电子)架构正从分布式架构转变为域中心架构，但这两者之间还差几步。”
他指出，汽车制造商奥迪在2016年采取了第一步，即采用了zFAS域控制器。所有的传感器数据，包括来自3D摄像头、远程雷达、激光雷达和超声传感器的信号，都不断地馈入域控制器模块进行处理。
“采用这种类型的域控制器可以更轻松地实现数据融合，”Boulay说。特斯拉的Autopilot硬件也采用了类似的方法，它“收集来自所有嵌入式传感器的数据，并控制音频和RF以及导航系统。”
正如Prystine项目所描述的，实现自动驾驶的一个关键点是融合并解释来自多个传感器的数据，使系统可以像人类驾驶员一样看到并理解车辆周围的环境。Boulay表示，AI应用会越来越多，那些开发分析海量异构数据算法的公司将拥有很多机遇。对于制造数据处理芯片的公司来说，机遇同样存在。随着自动驾驶级别的不断提高，对算力的要求也不断增加。例如，自动驾驶汽车的算力已经超过了每秒250TOPS，而特斯拉全自动驾驶的算力则接近70TOPS。
算力可以无限增长吗？要达到什么水平才可以认为能够满足全自动驾驶汽车的需求？Boulay回答到：“一些公司的优化系统只需中等算力即可实现全自动驾驶，另一些公司却可能需要两倍算力。只有让时间告诉你极限在哪里。”
目前存在的一些挑战都与传感器和计算功耗有关，尤其是在电动汽车中。Boulay说，“处理海量数据可能会影响电动汽车的行驶里程，而里程是客户最关心的问题。因此，自动驾驶系统必须具有高能效。”
传感器融合面临的另一挑战是在不同维度空间（即2D和3D）融合数据的能力。Boulay说：“这是OEM和一级供应商必须面对的重要问题。激光雷达能够以3D模式设置场景，而摄像头和雷达可以对该场景进行微调，使图像具有色彩、物体具有速度。“
“要实现这一技术相当复杂，由此将拉开领跑者和落后者的差距。”
（本文授权编译自EDN姐妹网站EETimes，原文参考链接：Sensor Fusion Is Prerequisite for Autonomous Vehicles，由Jenny Liao编译）
本文为《电子技术设计》2020年12月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。
最前沿的电子设计资讯
