在严重交通事故等紧急情况下，需要分秒必争，而且充分宽敞的救援车道还可能决定生死。如果驾驶人能够听到警铃声，为什么自动驾驶汽车不能也这样做呢？
总部位于埃及开罗的车用嵌入式解决方案与服务供货商Avelabs开发了一种传感器解决方案，能够赋予车辆听觉，以补强视觉并改善自动驾驶系统。
“当我们在评估环境时，视觉对我们来说是最重要的。”Avelabs产品管理总监Amr Abdelsabour在今年AutoSens Brussels全球自动驾驶峰会中的一场圆桌会议上表示，“然而，人类驾驶员不仅仅依赖视觉。当我们开车时，也依赖于听觉。我们可以听到很多信息，但从后方传来的警笛声是看不到的。或者，当我们开车进入十字路口的盲点时，如果还有另一辆车驶来，还真的看不到它，但却可以听到车行的声音。”
Avelabs在AutoSens会议上推出了AutoHears，这是一种声学传感系统，可用以检测、分类和定位声音，有助于了解车辆的复杂环境。AutoHears包括硬件、机械外壳和执行传感功能的软件，其目的是执行紧急车辆、模糊场地、自然灾害(例如岩石滑坡)、安全事件(例如附近的碰撞、枪击、爆炸)检测，以及车辆的自我诊断和语音识别。
在接受采访期间，Abdelsabour解释了如何赋予车辆听觉、软件和硬件如何相互依赖、数据融合过程的执行所在和方法，以及我们何时能看到AutoHears上路。
Amr Abdelsabour，Avelabs产品管理总监
Amr Abdelsabour：我们从行驶中的车辆声音(如轮胎、引擎、刹车和空气动力的声音)，以及全球不同标准的喇叭和警笛声音开始，到目前为止，这些类别都已经过测试和演示了。目前我们正致力于添加新的分类，例如自然灾害和碰撞检测，而这些现在还处于功能开发阶段。我们目前也正构建功能开发的蓝图。
Abdelsabour：AutoHears不仅检测来自各个角度的声音，甚至是来自墙后方和其他障碍物的声音。这当然有物理限制。声音测量是一个相对的传感过程，其中的声音是相对于其环境进行检测的。这意味着，如果环境安静，AutoHears能够检测到模糊和微弱的声音，例如自行车甚至脚步声。但是，如果环境嘈杂，AutoHears只能检测到最显著的声音。因此，如果附近有响亮的警笛声，我们将无法检测到其他车辆的电机声音，因为过于响亮的声音会掩盖掉安静的声音。尽管如此，我们正在努力寻找实际在物理限制上的客观数据，以便为客户提供可靠的局限所在。
Abdelsabour：声音的分类是一个复杂的过程，尤其是涉及非标准化的声音。我们在谈论标准化声音时，如警笛声，那么分类过程就会变得简单而直接，而且能采用基于模型的算法来完成。然而，行驶中的车辆检测是一种更复杂的过程，因为我们的耳朵或传感器所听到的最终声音是由不同物理成分组成的非标准组合声音。这就是各种人工智能(AI)方法得以发挥作用之处——以所收集的数据为基础，通过机器学习对声音进行归类，并根据其所学习的内容来检测和分类声音。我们可以很自豪地说，AutoHears结合了基于模型的算法和机器学习来对声音进行归类，当然这取决于所要检测的目标声音。
Abdelsabour：就像人类驾驶一样，声音与视觉相辅相成。这就是我们对 AutoHears的看法，也相应地以此进行开发。因为我们主要关注声学传感部分，所以提供的原始声学传感信息能与摄像头和雷达传感器等相结合，以便对物体进行分类和定位，从而发挥每个单独传感器的优势并克服其弱点。举个例子，将雷达、摄像头和AutoHears结合起来，可以在盲点中检测到以下车辆：雷达能检测到障碍物并准确估计其距离(因为雷达在这方面非常可靠)，摄像头可以对该物体进行分类(如果有一个摄像头用来观察目标车辆所在的方向)，AutoHears则将通过自己对该车辆的分类和定位来确认检测，并在该车辆发出任何声音(如按喇叭或发出警笛声)时添加信息。将所有传感器组合在一起就得到了传感器融合，这样就能以最佳方式对周围环境进行最大程度的还原。
Abdelsabour：AutoHears可说是其同类检测系统，即声学检测系统中的首套传感系统。由于Avelabs是一家软件公司，我们最初希望主要关注点仅仅是从软件的角度开发感知功能，而非硬件部分。然而，如果没有传感硬件，就无法实现传感功能。传感功能主要是由传感硬件所实现的，因为传感器并不像在车辆中放置麦克风来实现检测那么简单，而是必须仔细设计硬件来实现对周围环境的准确定位。为了定位对象，定位算法依赖于物理因素，例如声音到达的时间差，只有当硬件按照这方面进行设计时才能检测到。这涉及多个硬件因素，例如麦克风的数量、其间的距离以及将其装载于车辆的位置。所有的这些硬件需求迫使我们自行设计和构建硬件，从而实现所提供的声学传感功能。简单来说，没有一家公司可为车辆提供外部声学检测硬件，这就是我们必须自行开发的原因。
Abdelsabour：在传感器和处理器系统方面，我们决定采用集中式架构。这一决定是为了顺应目前所有汽车公司的趋势，即依靠检测原始数据的传感器(摄像头、雷达等等)。然后将原始数据发送到集中式域控制器，并在其中进行传感器融合。这就是为什么我们将声学传感器构建成原始数据传感器，然后检测所有声学信息并将其发送到执行传感算法的集中域控制器。如您所知，我们自行设计了声学传感器，但使用现有的汽车域控制器，如Xilinx FPGA和TI ADAS TDA SoC作为执行算法的CPU。但是，由于每一家客户都使用自己的域控制器，因此我们仅将这些处理器作为参考硬件。当然，如果有定制的需要，我们都能将其轻松地部署在任何类型的域控制器上。
Abdelsabour：AutoHears作为传感器和传感算法，具有通用元器件及硬件特定元器件，这要取决于客户所需的功能及其所使用的处理控制器。因此，如果客户只知道声音事件的方向(不知道距离发出声音的物体多远)，则只需要使用一个传感器。如果客户还想要检测物体的距离，就需要使用多个传感器，以三角测量的方式探测物体的距离。这就是一个依赖于硬件的功能的案例。
依赖于硬件的另一方面是用于处理传感功能的域控制器。我们的产品性能取决于执行及处理这些特性的处理器。当然，在硬件的性能和处理需求之间需要某种权衡。因此，举例来说，如果我们希望AutoHears以1°分辨率进行检测，就需要用到更多的处理资源。如果我们降低所想要的性能，那么处理的需求也会降低。此外，每个新硬件都将附带一些针对MCU抽象层的硬件特定定制，例如，AutoHears传感器驱动程序，客户会将它安装到自己的基本软件环境中。
Abdelsabour：AutoHears目前还在产品的开发阶段。我们已经从技术和金融的角度证明了这个概念，并进行了展示和测试来证实其可行性，目前正致力于“产品化”开发。这包括公共道路验证以及获得汽车认证，这是我们从产品开发到商业化所需的两个步骤。这些也是在投入生产之前必须采取的步骤。
Abdelsabour：虽然我们自去年9月开始在AutoSens上发布该产品，但已经在与客户讨论测试解决方案了。虽然我们尝试着向汽车市场推出新的产品，但我们希望从客户和合作伙伴中了解更多的市场预期和需求，并将我们的传感器集成到数据采集车队中，以便收集更多数据来进行训练和验证。
（原文刊登于EDN姊妹网站EE Times欧洲版，参考链接：AVs Need to See and Hear What’s Coming，由Franklin Zhao编译。）
本文为《电子技术设计》2022年5月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。
最前沿的电子设计资讯
