驾驶员监控系统(DMS)技术长期以来一直被束之高阁,近来在汽车安全性讨论中重新引起了人们的关注。
人们越来越清楚地认识到DMS可以提高汽车安全性,这推动了新法规的制定,提升了新型汽车的安全等级。欧洲议会已更新了其通用安全法规(GSR),确定了要求安装DMS的车辆类型,欧盟新车安全评鉴协会(NCAP)也正在完善其DMS测试规程。NCAP的五星碰撞评级计划推迟了两年,将于2024年开始测试。
然而,这还不够。
汽车行业面临一个严峻的事实,就是人们驾驶半自动化汽车的时间越长,就越容易疏忽大意。
确实,汽车制造商总是将一些花哨的东西吹嘘为高级驾驶辅助系统(ADAS)的安全功能,希望驾驶员使用这些功能。但是,过分依赖自动驾驶会导致不安全的行为,而驾驶员监控系统(DMS)恰好处于这种危机四伏的人机关系之间。
迫在眉睫的问题是,DMS是否可以调解这种陷入困境的关系。
图1:麻省理工学院AgeLab的研究科学家Bryan Reimer。
笔记最近采访了麻省理工学院AgeLab的研究科学家Bryan Reimer(图1),他重申了长期以来一直坚持的观点:“DMS数据需要与主动安全系统融合在一起。”Reimer是美国公路安全保险协会(IIHS)的一个研究项目的架构师,这项研究显示了在1级和2级自动驾驶汽车中实施半自动化所产生的不利影响。
Reimer指出,他们的目标是同时利用自动化及人类的优势,以实现最高的安全性(图2)。为了确保人车联合系统比纯人工驾驶系统更好,需要考虑利用强大的数据来支持。
图2:将自动化和人类的优势结合起来实现最好的安全性。(图片来源:MIT AgeLab)
Semicast Research首席分析师Colin Barnden也强调:“必须将ADAS和DMS结合起来。”他指出,DMS检测到的驾驶员状态需要转化为ADAS动作,如制动和转向。
图3:Seeing Machines公司人为因素和售后解决方案高级副总裁Mike Lenné。
Seeing Machines公司人为因素和售后解决方案高级副总裁Mike Lenné(图3)承认:“将内部传感和外部传感结合起来可以提高安全性。”他列出了将ADAS和DMS结合起来的两个好处:切实了解驾驶中存在的安全风险,确保检测到人的真实状态;利用DMS为ADAS功能设置阈值。例如,虽然驾驶员将手放在方向盘上驾驶汽车,但实际上他是不是昏昏欲睡呢?
Lenné说:“根据各种驾驶场景/环境来调节DMS功能,这是一个项持久的挑战。例如,如何设定城市驾驶和乡村驾驶的分心指标?”
Lenné认为,除此之外,汽车制造商要“大胆地让人机界面(HMI)/车辆根据不同的风险严重程度进行响应,即由安全风险的严重程度来决定HMI和车辆的响应” 。
图4:欧洲NCAP技术主管Richard Schram。
我们不应操之过急。在由Affectiva主办的“驾驶员监控之外的高级安全性”网络活动中,欧洲NCAP技术主管Richard Schram(图4)介绍,欧洲NCAP采取了一种非常快速务实的方法。他强调,欧洲NCAP希望先在每辆车上安装DMS基础版本,然后遵循其技术路线图来发展。“我们永远无法得到完美的DMS系统。”
这个基础系统,是否就是只有摄像头的视觉DMS呢?欧洲NCAP正在开发的DMS测试规程,重点就放在视觉系统上。Smart Eye首席执行官Martin Krantz打趣道:“特斯拉使用的方向盘扭矩传感器,虽然有时也被认为是DMS……但它们已经过时了。”
图5:Jungo Connectivity首席执行官Ophir Herbst。
Jungo Connectivity首席执行官Ophir Herbst(图5)在访谈中承认:“驾驶员监控系统和乘客监控系统(OMS)技术都采用了2D摄像头……确实有一些公司与我们合作(或使用我们的产品)来测量驾驶员的“认知能力”或“精神状态”。OEM厂商也在探索其他一些传感器,但他们意识到摄像头的各种功能都提供了最大的投资回报率。成本是必须考虑的事。”
最近更名为Cipia的Eyesight Technologies则坚持“视觉方法是驾驶员监控的主要方法”。
图6:Cipia公司产品副总裁Tal Krzypow。
该公司产品副总裁Tal Krzypow(图6)在采访中说,视觉方法“能检测到眼睛的闭合与凝视以及面部表情(还有其他功能),这些都是驾驶员困倦和注意力分散最直接的表现。”
他补充道:“尤其是注意力分散,是造成事故的主要原因之一,没有其他更好的方法可以跟踪驾驶员的视觉专注力了。”
Krzypow并不反对使用其他传感器,例如用于监测呼吸的雷达,但他强调说:“目前的市场很大程度是由法规要求推动的,只有视觉方法才能最大限度地满足法规要求。”
那么,下一代DMS传感器发展如何呢?
尽管视觉DMS是许多OEM厂商的优选方案,但DMS开发人员不会停止开发新传感器,以便能进行更多检测。
图7:Smart Eye首席执行官Martin Krantz。
Smart Eye首席执行官Krantz(图7)描绘了一幅更广阔的画卷。“在2020年国际消费电子展(CES)上,我们展示了一款雷达呼吸探测器。”Krantz说,“许多DMS技术供应商都在研究乘客监控解决方案,我们也在开发全车舱感知方案,采用一到两个广角摄像头跟踪监测整个车舱,测量乘客身体姿势、儿童是否在后座、安全带是否系好等。”他补充说:“我们还提取所有乘客的面部表情,并将其与基本情绪对应。这种方法也可以用来识别车中的每个人。”Krantz认为,未来汽车内部将由“多模态传感器套件”进行监控。Smart Eye计划“持续开发软件,使其能够适应多种形式的传感器。”
一些一级供应商(如Valeo)据报道正在探索可以检测遗留在车内的“生命体”(婴儿、小狗等)的雷达技术。
飞行时间(ToF)传感器也有可能用于DMS。2020年初,ADI与Jungo宣布进行合作。当被问及为什么要合作时,Jungo首席执行官Herbst解释说,ToF传感器可提高面部识别、手势以及座位占用/姿势等算法的准确性,而且,在某些情况下,ToF传感器还可以提供其他功能,例如检测手是否离开方向盘。他指出,ToF传感器将在“未来一年内”用于DMS系统。
但是,也有人对此提出疑问:在DMS中添加传感方法就能解决诸如检测驾驶员困倦之类的棘手问题?Seeing Machines的Lenné认为,困倦是最难检测的一种状态,“我们研究了大脑活动、心律活动和呼吸。”他们使用的一些生理传感器是由澳大利亚和英国的学术机构开发和设计的。他说:“我们发现,其他传感器都会产生很大的噪声,导致心率或呼吸速率变化的原因多达101种。”
DMS的强制性要求正在逐步实施,Seeing Machines重申:“眼睛能看见,而且眼睛不说谎。” Lenné强调了他们通过广泛研究得出的结论:“如果你真的想知道一个人的注意力和认知状态,就去研究他们的眼睛和面部表情(图8)。”
图8:检测驾驶员状态需要考虑多种因素。(资料来源:IEEE Pervasive Computing)
欧洲NCAP测什么,如何测?
Smart Eye公司的Krantz指出,DMS测试的首要任务是将系统安装在汽车中进行测试,许多在测试平台上正常的系统在实际的恶劣驾驶环境下却无法工作。”
图9:Semicast公司主分析师Colin Barnden。
Semicast公司主分析师Barnden(图9)指出,现实中的许多情况往往让DMS技术无所适从,比如阳光直射和路灯频闪,甚至驾驶员戴着口罩和太阳镜也会让DMS系统困扰。
那么DMS必须具备哪些功能呢?许多供应商拒绝透露详细信息,只是提及他们参与了欧洲NCAP的测试开发工作。但Smart Eye的首席执行官强调,基本信号(例如头部姿势、眼睑张开、视线方向等)的质量很重要。
“基本信号的准确性和质量都很重要。如果这些信号不够完整,就无法在上层创建告警应用。告警需要谨慎处理,确保低误报率。”
Krantz补充道:“瞥一眼仪表盘与微睡眠是不同的,不能搞混了。”
Krantz称Euro NCAP的测试规程正在制定中,“我们有信心提供先进的标准,不会遗漏对DMS系统最重要功能的测量。”
Jungo的首席执行官Herbst列出了可能的DMS功能需求:
最后,OEM厂商当然期望符合NCAP要求的系统成本较低,Herbst说:“DMS可以在现有的计算系统(如信息娱乐系统或仪表盘)上运行。”汽车制造商还要考虑提供其他功能,如软件升级。此外,一级供应商情有独钟的是最适合他们所用芯片组的解决方案。监管机构不会规定采用什么技术,他们只专注于使用和极端情况。”
这个问题可能有点奇怪,但它却指出了欧洲NCAP如何在车内测试DMS的问题。有会犯困的假人用来做测试吗?
Seeing Machines的Lenné说:“我们认为,无论是在模拟还是实际测试中,都需要人类驾驶员主动参与测试。目前尚不清楚如何实施,但可能需要在困倦程度方面达成一些共识。”
对于微睡眠,Smart Eye的Krantz说:“我们不仅要对微睡眠发出警告(微睡眠之后就会陷入睡眠),还要对严重犯困(此时驾驶能力急剧下降)发出警告。”他建议:“在模拟和实际驾驶中,让驾驶员一直处于同样的场景下(例如凌晨时分长时间的乏味驾驶),并在固定的时间间隔内对自己的困倦程度进行自我评估。两者的区别在于,模拟驾驶中的测试可以持续到驾驶员陷入睡眠。”
实际测试比Krantz和Lenné提到的要复杂得多。正如Cipia的Krzypow指出的那样,“识别困倦(不同于闭眼)面临双重挑战:它很难测量,也很难仿真。”还没人解释欧洲NCAP计划如何应对这个挑战。
如何避免DMS系统干扰驾驶员?
说了这么多,实际上DMS技术最薄弱之处是误报警太多,驾驶员常常不厌其烦,最终关闭DMS使其无用。
Jungo首席执行官承认:“的确,过多的误报警会令人生厌。我们的做法是只对一些注意力不集中的事件进行报警,例如不看路、打电话或吸烟等。现在我们还没有去评估驾驶员的“认知”状态,如眼睛看着路心里却在想着事。这确实太容易出错了。”
Smart Eye首席执行官Krantz说:“最大程度降低误差率的关键是具有非常高精度的基本信号。”他补充道:“这需要利用设计良好并经过全面测试的应用,将基本信号转换为有价值的驾驶员状态信息,最终形成周全的告警策略,在不干扰驾驶员驾驶的情况下通知他们。”
Seeing Machines的Lenné也认为驾驶员是否愿意接受监控至关重要。“在设计中要考虑人的因素,这非常重要。我们需要了解人类行为及可能带来的风险(例如注意力分散),并在功能设计中考虑这些因素,使这些功能对驾驶员有用。”他说,“误报警的数量还受到其他一些因素的影响,包括是否可以获得高质量信号,这都很重要。”
麻省理工学院的Reimer强调,反应过度的驾驶员警报系统可能会给消费者带来问题,他提到了一个通用汽车公司的例子。
“通用汽车好像为其Super Cruise系统开发了一种分级报警方法,将无声提示报警和逐步升级报警结合起来解决这一问题。”
从理论上讲,识别驾驶员注意力是否集中并将其连接到DMS警报系统,可以降低干扰因素。
但是Reimer说:“我不清楚有没有系统分得清全神贯注和心不在焉。这正是我们公司以及我们合作的多家OEM和供应商积极研究的领域。”
笔者撰写这篇文章意在搞清领先DMS供应商的想法,了解他们在开发更安全的驾驶员监控系统方面所做的努力。
但正如Semicast Research的Barnden常说的那样,“实现低端驾驶员监控其实很容易。”
在有关现代Genesis前视警示(FAW)系统的一则宣传视频中有旁白警告:“在某些情况下,FAW系统可能无法正常工作……例如,驾驶员戴着偏光镜、浓密的眼妆、面部被头发或帽子遮挡,或者视线被方向盘遮挡。”
旁白总结道:“请注意,前视警示系统不能代替正确而安全的驾驶,驾驶员有责任随时检查车速以及与前方车辆的距离。”
因此,尽管DMS系统还无法完全监控驾驶员,汽车制造商却已将其投入使用,这样节省了研发费用,还将责任推给了车内戴眼镜和帽子的女士。
(本文授权编译自EDN姐妹网站EETimes,原文参考链接:Can You Get ADAS and DMS Work Together?,由Jenny Liao编译)
本文为《电子技术设计》2021年2月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里。