在布鲁塞尔举行的AutoSens 2019大会不乏技术创新，但技术开发人员、一级供应商和OEM们仍在寻找“鲁棒（robust）感知技术”，即可以在任何道路条件下工作，包括夜晚、雨雾、风雪、坚冰、油污等。
尽管汽车行业尚未找到一剂良方，但许多公司已推出他们最新的感知技术和产品概念。
图1：GM刚推出的Cruise最新测试车型装有多种传感器，如图中红色所示。（图片来源：Cruise）
在今年布鲁塞尔的AutoSens展会上，高级驾驶辅助系统（ADAS）比自动驾驶汽车（AV）更引人关注。
显然，业界已不再否认，距最终推出人工智能驱动的商业化无人驾驶自动汽车，我们还有很长的路要走。
这并不是说自动驾驶汽车是不可实现的。VSI Labs的创始人兼总裁Phil Magney预测：“ L4自动驾驶汽车将严格限定在设计行驶范围内（ODD），并基于非常全面和彻底的安全用例设计。”Magney补充说：“非常严格的设计行驶范围，意即特定的道路、特定的车道、特定的行驶时段、特定的天气状况、一天中特定的时间，以及特定的上下车地点等。”
在展会结束时，专注AI领域的康奈尔大学计算机科学教授Bart Selman被问及人工智能驱动的汽车是否会具备“基本理解能力”，即知道它正在行驶并了解周围的环境，他回答说：“要做到这一点至少还需要10年，也可能是20年到30年。”
而对于迫切想要实现ADAS和高度自动化汽车的人来说，如何使车辆“更好地看见”成为首要任务。
Edge Case Research首席技术官、卡耐基梅隆大学教授Phil Koopman指出，高度自动化车辆的根本是“感知”，即了解目标的位置。他解释说，与人类驾驶员相比，自动驾驶汽车的薄弱环节是“预测”，即了解周围的情况，并预测它感知到的目标可能往何处去。
展会上出现了一种新的趋势，就是向边缘增加更多的智能设备。许多供应商正在边缘融合不同的传感数据，例如RGB摄像头+NIR、RGB+SWIR、RGB+激光雷达、RGB+雷达，而使传感节点变得更加智能。
但是，关于如何实现融合，各厂商意见不一。有些厂商提倡在边缘实施传感器融合，而另一些厂商，例如Waymo，则更倾向于在中央处理器（CPU）上对原始传感数据进行中央融合。
由于欧盟新车安全评鉴协会（Euro NCAP）规定驾驶员监控系统（DMS）在2020年之前成为主要安全标准，AutoSens展会上出现了许多新的监控系统，不仅监控驾驶员，还监控乘客和车辆内的其他目标。
一个典型的例子是安森美半导体的新型RGB-IR图像传感器，它与Ambarella的高级RGB-IR视频处理SoC和Eyeris的车载场景理解AI软件结合在 一起。
无论是在车内还是在车外，若需要在黑暗中看清目标，就需要使用红外线（IR）。
安森美半导体的RGB-IR图像传感器采用NIR（近红外）技术，同样参展的Trieye则更上一层楼，采用了SWIR（短波红外）摄像头。
图2：什么是短波红外（SWIR）？ （图片来源：Trieye）
SWIR的一个优势是能够在任何天气/照明条件下看见物体。更重要的是，SWIR可以提前判断道路的危险状况，例如道路上的薄冰，因为SWIR可以检测由每种材料的化学和物理特性所确定的独特光谱响应。
然而，由于制造SWIR摄像头的砷化铟镓（InGaAs）成本极高，因此它仅限于军事、科研和航空航天应用。Trieye声称已找到一种使用CMOS工艺技术设计SWIR的方法。Trieye首席执行官兼联合创始人Avi Bakal说：“这是我们所取得的突破。像半导体一样，从一开始我们就采用CMOS工艺批量生产SWIR摄像头。”Bakal表示，与价格超过8,000美元的InGaAs传感器相比，Trieye摄像头的价格只有“几十美元”。
图3：SWIR摄像头分解。（图片来源：Trieye）
人工智能的一个最大难点在于缺乏训练数据。具体来说，是“标注训练数据”，Magney说。推理模型的好坏取决于数据及其数据收集的方式。而训练数据需要用元数据来标记，这非常耗时。”
在AutoSens大会上，人们热烈讨论了GAN（生成式对抗网络）方法。据Magney介绍，在GAN中，两个神经网络相互竞争以创建新数据。在给定训练集的情况下，这项技术据说可以学习生成与训练集具有相同统计属性的新数据。
例如，Drive.ai公司正在利用深度学习来加强标注数据的自动化程度，从而加速繁琐的数据标记过程。
Koopman在AutoSens大会的演讲中也谈到了准确标注数据的巨大挑战。他猜测目前很多数据仍然未被标注，因为这只有少数大公司才负担得起。
参展的AI算法初创公司也承认，向第三方公司支付费用来标注数据的确带来沉重的压力。
GAN是一种途径。但Edge Case Research公司提出了另一种方法，无需标注所有数据即可加速开发更安全的感知软件。该公司近日推出了一款称为Hologram的工具，这是一个AI感知压力测试和风险分析系统。Koopman称，Hologram无需标记PB级的数据，只需运行两次，就可收集更多数据或做更多训练，并警告哪里有“疑点”，哪里“最好回头再检查一番”。
本次大会还提出了另一个议题，如果汽车OEM更换了用于数据训练的摄像头和传感器，会给标注数据集带来什么影响？
Algolux公司营销和战略伙伴关系副总裁David Tokic告诉笔者，从事ADAS和AV研发的汽车工程师关注两件事：1）在各种条件下的鲁棒感知；2）准确、可扩展的视觉模型。
目前部署在ADAS或AV中的典型摄像头系统差异很大，不同的镜头（提供不同的视场角）、传感器和图像信号处理提供的参数完全不同。通常一家技术公司会选择一个摄像头系统，收集一个大数据集，并对其进行标注和训练，以构建适应该摄像头系统的准确的神经网络模型。
若是OEM更换了原来用来训练数据的摄像头会有什么影响？这一改变可能会影响感知的准确性，因为神经网络模型已适应原来的摄像头，现在却要应对一组新的原始数据。
OEM是否需要重新训练其数据集？
图4：Tesla、Waymo、GM/Cruise在其AV中使用了大量摄像头。（图片来源：Algolux）
当被问及图像传感器的可替换性时，VSI Labs公司的Magney说：“除非规格相同，否则不能替换。”他指出：“例如，在VSI，我们为FLIR热像仪训练我们自己的神经网络，并且收集那些与我们所部署的热像仪规格相同的训练图像。之后我们确实更换过传感器，但其规格完全相同。”
不过，Algolux公司声称采用了一种新方法，可以“在几天之内”转换这些先前创建的数据集。Tokic说，该公司的Atlas摄像头优化套件是通过了解“先验信息”，即摄像头和传感器的特性，并将其应用到检测层来实现这一方法的。Tokic说：“我们的使命是使OEM能够自己选择摄像头”。
过去几年涌现了众多的AI处理器初创公司，带来AI热潮，有人宣称硬件复兴时代已经到来。其中许多AI芯片初创公司将ADAS和AV定为他们的目标市场。
针对这一新兴的AI加速器市场，Ceva在AutoSens大会上首次展示了该公司的新AI内核和“Invite API”。
然而奇怪的是，除了Nvidia和Intel/Mobileye设计的芯片，以及特斯拉开发的仅供内部使用的“全自动驾驶（FSD）计算机”芯片之外，新一代多功能汽车尚未开始部署新的AI芯片。
另一方面，安森美半导体在AutoSens大会上发布了RGB+IR摄像头，这表明安森美/Eyeris团队已选择Ambarella的SoC作为其AI处理器，用于车载监控。
Eyeris公司首席执行官Modar Alaoui承认，业内通常并不认为Ambarella是一家AI加速器公司，而是传统的视频压缩和计算机视觉芯片公司。他说：“除了Ambarella的CV2AQ SoC，我们找不到其他任何能够支持10个神经网络、功耗小于5W、每秒可捕获30帧视频（有6个摄像头用于车内监控）的AI芯片来运行Eyeris的AI车载监测算法。Ambarella的芯片击败了其他所有大肆宣传的加速器。”
不过，Alaoui希望到2020年1月拉斯维加斯的消费电子展时，该公司的AI软件可以移植到另外三个硬件平台上。
图5：安森美、Ambarella和Eyeris演示使用三个RGB-IR摄像头的新型舱内监控系统。
安森美同时强调，驾驶员和乘客监控应用需具备“在任何照明条件下——从光线充足到漆黑一片——均可捕获图像”的能力。该公司称，凭借出色的近红外响应，“使用3.0µm背光照度（BSI）和3重曝光HDR技术，RGB-IR CMOS图像传感器技术可提供全高清1080p输出。”这些传感器对RGB和IR光敏感，可以捕获日光下的彩色图像和NIR光下的单色红外图像。
Alaoui自豪地称Eyeris的AI软件可以完成复杂的身体与面部分析、监控乘客活动并进行目标检测。“除了驾驶员监控，”他补充说，“我们还可以监控汽车内的一切，包括座椅表面和方向盘。”他强调该初创公司的发展已超过Seeing Machines。
不过，Seeing Machines公司欧洲客户方案主管Laurent Emmerich对此不敢苟同。他认为：“在车辆内部监控除了驾驶员以外的更多目标是一个很自然的发展过程，我们也在不断发展。”
他补充说，与初创公司相比，Seeing Machines的优势在于，“过去20年积累的AI专业知识为我们的计算机视觉技术奠定了坚实的基础”。目前，Seeing Machines公司的驾驶员监控系统已被“六家汽车制造商采用，并应用在九个程序中。”
此外，Seeing Machines公司还开发了自己的硬件——Fovio驾驶员监控芯片。当被问及该芯片未来是否也能用于车载监控系统时，Emmerich解释说，该芯片的IP将应用于可配置的硬件平台。
为了提高感知能力并增加冗余安全度，需要将多个不同形式的传感器组合起来并安装在车辆中。
图6：Outsight在AutoSens大会上展示的盒子。
初创公司Outsight在AutoSens上推出了一款由多个传感器组成的高度集成的新盒子。其联合创始人、Whitings前首席执行官Cedric Hutchings解释说，Outsight的传感器融合盒旨在“通过理解提供感知，了解整个环境（包括道路上的冰、雪、油渍等）并按实际情况进行处理。”他补充说，“我们甚至可以通过有源高光谱传感技术将路面材料分类。”
但Hutchings拒绝透露Outsight的盒子中具体采用了哪些公司的传感器，“现在还不能宣布我们的关键合作伙伴，因为我们仍在调整适合的规格和适合的应用。”
笔者在随后与Trieye的讨论中发现Outsight可能使用了Trieye的SWIR摄像头，但目前两家公司尚未达成最后协议。
Hutchings解释说，Outsight的传感器融合盒计划于2020年第一季度送样，目前正向一级供应商和OEM进行推广。该产品将作为一个新增的独立系统，为确保安全性和“真冗余”提供“无关联数据”。
该盒子“没有采用机器学习”，它提供了确定性结果使之“可以认证”。
另外，Aeye公司也针对ADAS/AV市场推出了其iDAR产品，这是一款融合了高清摄像头的固态MEMS激光雷达。AEye公司的产品管理副总裁Aravind Ratnam表示，通过将两种传感器结合起来并嵌入AI，该系统在实时运行中能“应对某些极端情况”。
Aeye公司解释说，iDAR系统旨在将2D摄像头的“像素”（RGB）和3D激光雷达的数据“体素”（XYZ）结合起来，以提供一种新的实时传感器数据类型，从而向AV路径规划系统提供更快速、更准确、更长距离和更智能的信息。
图7：AEye的AE110产品特性与行业基准和功能的比较。（图片来源：AEye）
Ratnam在演讲中提到AEye研究了各种用例。“我们研究了300个场景，挑选了56个合适的用例，并将场景缩减至20个。”在这些场景中，摄像头、激光雷达和AI的融合功不可没。
Ratnam演示了这样一个场景：一个小孩忽然不知从哪里窜出来，追着一个球冲进街道——正好冲到一辆车前面。此时，在边缘处启用摄像头和激光雷达融合，工作会快得多，因此可缩短车辆反应时间。他指出：“我们的iDAR平台可提供非常快的计算速度。”
当笔者问Waymo公司的一位与会工程师边缘传感器融合有何优势时，他回答说不确定这是否会带来实质性的改变。他反问：“几微秒会有很大差异吗？我不确定。”
AEye确信iDAR能为一级供应商提供更多的价值。AEye的Ratnam强调：“我们通过与主要合作伙伴Hella和LG的紧密合作，大幅降低了iDAR的成本，目前我们的3D激光雷达价格与ADAS差不多。”
在接下来的三到六个月内，AEye将完成嵌入AI的汽车级RGB和激光雷达融合系统，其价格将“低于1,000美元”，Ratnam说。
图8：汽车激光雷达系统出货量。（图片来源：IHS Markit）
IHS Markit公司汽车半导体和传感器高级分析师Dexin Chen向与会者表示，激光雷达供应商一直“过度营销，承诺太多。”他指出，“未来还是可以宣传激光雷达带来的物理优势，但能否商业化才是决定因素。行业更需要的是标准化、联盟和伙伴关系、供应链管理以及AI合作伙伴。”
（原文刊登于ASPENCORE旗下EETimes网站，参考链接：6 Trends on ‘Perception’ for ADAS/AV。）
本文为《电子技术设计》2019年12月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。
最前沿的电子设计资讯
