在严重交通事故等紧急情况下，需要分秒必争，而且十分宽敞的救援车道可以决定生死。如果司机能听到警报器，为什么自动驾驶汽车不能这样做呢？总部位于埃及开罗的Avelabs公司开发了一种传感器解决方案，给予车辆听觉用来补充视觉及改善自动驾驶系统。
“当我们在评估环境时，视觉对我们来说是最重要的。”Avelabs公司产品管理总监 Amr Abdelsabour 在今年AutoSens布鲁塞尔的圆桌会议上说，“然而，作为人类驾驶员，我们不仅仅依赖视觉。当我们开车时，我们也依赖于我们的听觉。我们可以听到很多信息，但从后面传来的警报器我们是看不到的。或者，如果我们开车进入一个盲道时另外还有一辆车驶来，我们真的看不到它，但我们可以听到。”
Amr Abdelsabour，产品管理总监，Avelabs公司
在AutoSens会议上，Avelabs推出了AutoHears，这是一种声学传感系统，用以检测、分类和定位声音，以帮助了解车辆的复杂环境。AutoHears包括硬件、机械外壳和运行传感功能的软件，其目的是执行紧急车辆、模糊区域、自然灾害（例如岩石滑坡）、安全事件（例如附近的碰撞、枪击、爆炸）检测，以及车辆的自我诊断和语音识别。
在与笔者的后续讨论中，Abdelsabour 解释了如何赋予车辆听觉、软件和硬件如何相互依赖、数据融合过程的执行的地点和方法，以及我们何时在路上可看到AutoHears？
问：能否描述一下AutoHears可检测到和无法检测到的声音类型吗？
Amr Abdelsabour：我们从行驶中的车辆声音（比如轮胎、发动机、刹车和空气动力的声音），以及全球不同标准的喇叭和警报器声音开始。到目前为止，这些类别我们都经过了测试和演示。我们目前正在努力添加新的分类，例如自然灾害和碰撞检测，但它们仍处于功能开发阶段。功能开发的路线图正在构建。
问：AutoHears能从各个角度检测声音。是否有物理限制吗？
Abdelsabour：AutoHears不仅可以检测来自各个角度的声音，还可以检测来自墙后方和其他障碍物的声音。这当然有物理限制。声音测量是一个相对传感过程，其中声音是相对于其环境进行传感的。这意味着，如果环境安静，AutoHears能够检测到模糊和微弱的声音，例如自行车甚至脚步声。但是，如果环境嘈杂，AutoHears只能检测到最显著的声音。因此，比如附近如果有响亮的警报器，我们将无法侦测到其他车辆的马达声，因为响亮的声音会掩盖安静的声音。尽管如此，我们正在努力去发现确切的物理限制上的客观的数据，为我们的客户提供可靠的限定。
问：声音的分类是什么呢？
Abdelsabour：声音的分类是一个复杂的过程，尤其是在涉及非标准化的声音时。我们在谈论标准化声音时，比如警报器，那么分类过程就会变得简单而直接，并且可用基于模型的算法来完成。然而，行驶中的车辆检测是一个更复杂的过程，因为我们的耳朵或传感器所听到的最终声音是由不同物理成分组成的非标准组合的声音。这就是各种人工智能方法所发挥作用的地方——以收集的这些数据为基础通过机器学习对声音进行归类，并根据它们所学的内容来检测和分类声音。我们很自豪地说，在AutoHears，我们结合了基于模型的算法和机器学习来对声音进行归类，当然这取决于要检测到的目标声音。
问：音频数据如何与来自嵌入汽车的摄像头或其他传感器的图像数据相融合？
Abdelsabour：就像人类驾驶员一样，声音与视觉相辅相成。这就是我们对 AutoHears的看法，我们也相应地开发了它。因为我们主要关注声学传感部分，所以我们所提供原始声学传感信息可以与比如摄像机和雷达传感器相结合对物体进行分类和定位，从而发挥每个单独传感器的优势并克服它们的弱点。举个例子，将雷达、摄像头和AutoHears结合起来，可以在我们的盲点中检测到以下车辆：雷达可以检测到障碍物并准确估计其距离（因为雷达在这方面非常可靠），摄像头可以对该物体进行分类（如果有一个摄像头用来观察目标车辆所在的方向），AutoHears将通过自己对该车辆的分类和定位来确认检测，并在该车辆发出任何声音(如按喇叭或发出警报)时添加信息。将所有传感器组合在一起就得到了传感器融合，这就能以最佳方式对周围环境进行最大程度的还原。
问：你们为什么决定建立一个完整的系统？为什么必须解决所有软件和硬件方面的问题？
Abdelsabour：AutoHears作为一种传感系统，是其同类检测系统，也即声学检测系统中的首个。由于Avelabs是一家软件公司，我们最初希望我们的主要关注点仅仅是从软件的角度开发的感知功能，并没有关注硬件部分。然而，没有传感硬件，就不可能有传感功能。传感硬件是传感功能的主要推动者，因为传感器并不像在车辆中放置麦克风来实现检测那么简单，而是必须仔细设计硬件来实现对周围环境的准确定位。为了定位对象，定位算法依赖于物理因素，比如声音到达的时间差，只有当硬件按照这方面进行设计时才能检测到。这涉及多个硬件因素，例如麦克风的数量、它们之间的距离以及它们在车辆上的位置。所有这些硬件需求迫使我们自己设计和构建硬件，从而实现我们提供的声学感知功能。简单来说，没有一家公司可为车辆提供外部声学检测硬件，这就是我们必须自己开发的原因。
问：能告诉我一些关于声学传感器本身的细节吗？算法是运行在CPU 上吗？
Abdelsabour：在传感器和处理器系统方面，我们决定采用集中式架构。这一决定是为了顺应目前所有汽车公司的趋势，即依靠检测原始数据的传感器（相机、雷达等等）。然后将原始数据发送到集中式域控制器，在其中进行传感器融合。这就是为什么我们将声学传感器构建成原始数据传感器，然后检测所有声学信息并将其发送到运行传感算法的集中域控制器。如您所知，我们自己设计了声学传感器，但我们使用现有的汽车域控制器，比如Xilinx FPGA和TI ADAS TDA SoC作为运行我们算法的 CPU。但是，由于每个客户都使用自己的域控制器，因此我们仅将这些处理器作为参考硬件。当然，如果有定制的需要，在任何类型的域控制器上我们都可以很轻松的部署。
问：为什么说AutoHears是“硬件相关”？
Abdelsabour：AutoHears作为传感器和传感算法具有通用元器件及特定硬件元器件，这要取决于客户所需的功能和客户所使用的处理控制器。因此，如果客户只是知道声音事件的方向（不知道到发出声音的物体的距离），则只需要使用一个传感器。如果客户还想要检测物体的距离，就需要使用多个传感器来以三角测量的方式探测物体的距离。这就是一个依赖于硬件的功能的案例。
硬件相关性的另一个方面是用于处理传感功能的域控制器。我们产品的性能取决于运行及处理这些特性的处理器。当然，需要在硬件的性能和处理需求之间存在权衡。因此，打个比方，如果我们希望AutoHears以1°的分辨率进行检测，这需要用到更多的处理资源。如果我们降低所想要的性能，那么处理的需求也会降低。此外，每个新硬件都将附带一些特定定制硬件以针对微控制器的抽象层，例如，安装到客户的基本软件环境中的AutoHears传感器的驱动程序。
问：你们在开发方面处于怎样的位置？打算什么时候在公共道路上对AutoHears进行测试？预计AutoHears何时将会投入生产？
Abdelsabour：AutoHears目前还在产品的开发阶段。我们已经从技术和金融的角度证明了这个概念，进行了演示和测试来证明可行性，目前我们正在进行“产品化”开发。这包括公共道路验证以及获得汽车认证。这是我们从产品开发到商业化所需的两个步骤。 这些是在投入生产之前所必须采取的步骤。
问：你们有早期客户测试解决方案吗？
Abdelsabour：虽然我们宣布在今年9月开始在AutoSens上发布该产品，但我们已经在与客户讨论测试解决方案的问题。虽然我们尝试着向汽车市场推出新的产品，但我们希望依靠我们的客户和合作伙伴们了解更多的市场预期和需求，并将我们的传感器集成到数据采集车队中，其目的是收集更多数据来进行训练和验证。
（原文刊登于EDN姐妹网站EE Times欧洲版，参考链接：AVs Need to See and Hear What's Coming，由Franklin Zhao编译。）
本文为《电子技术设计》2022年2月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。
最前沿的电子设计资讯
