随着驾驶员越来越容易分心、困倦和损伤，驾驶员监控系统(DMS)被认为是预防事故的关键。但是我们是否过度设计了这些系统核心的传感器？使用新的传感器建模工具和深度神经网络(DNN)进行的仿真表明，我们有可能是这样的——而且幅度很大。这意味着汽车传感器行业有机会在不牺牲关键性能的情况下大幅降低DMS功率和成本。
时间就是生命。自2024年起，在欧盟境内销售的所有新车都必须配备DMS。同时，其他功能，如车内乘客监控和视频会议，必须集成在同一个摄像头系统中。
DMS设计从传感器水平开始。当前设计的传感器产品具有完整的功能，因此它们可以在各种工作和照明条件下拍摄非常“漂亮的照片”。但是我们需要漂亮的照片吗？或者我们是在做相当于用消防水带扑灭火柴的工程？
DMS必须检测面部特征，例如嘴巴、鼻子和眼睛，以确定驾驶员的警觉性(图1)。我们能否简化传感器的设计，使它们即使在恶劣的环境条件下也能清晰地捕获相关信息，并优化这些PPA(功耗、性能、面积)预算，同时降低成本？
在L4级别以上自动驾驶还没出现的当下，DMS是保障驾驶安全的关键所在，目前，宝马、凯迪拉克、特斯拉、长城、长安、蔚来等众多厂商均有配备这一产品。而随着相关政策法规的逐步实行，DMS必将会成为新发布车型的标配产品，这一进程也需要整个汽车产业链的通力合作。
为创造跨行业交流机会、促进汽车及汽车电子产业迈进，由全球领先电子科技媒体集团AspenCore和上海市交通电子行业协会合办的“中国国际汽车电子高峰论坛”将在上海浦东喜来登由由大酒店隆重举行。此次论坛开设智慧出行峰会、智能驾驶与预期功能安全论坛、智能座舱与人机交互论坛、新能源汽车发展论坛等交流平台，以汽车电子全产业链的视角、多维度的观察方式，引发更多样与更具影响力的思考。点击这里报名参加。
图1 DMS必须检测面部特征，例如嘴巴、鼻子和眼睛，以确定驾驶员的警觉性。图片来源：OmniVision
在OmniVision，我们开发了一个供内部使用的仿真工具，来研究我们可以为其他应用优化传感器PPA的方法。接着，我们与一些客户分享了它，看看它是否也可以用于DMS传感器。初步测试表明这里存在着巨大的优化潜力。
我们希望使用我们的工具来帮助确定最适用的DMS参数，并提出我们可以制造的可以正常工作的最简化图像传感器。最简化的图像传感器？是的，没错。我们不想过度设计，这会增加成本和能耗。我们想为DMS制作合适的产品：首先要知道什么是“刚刚好”，然后从那里开始磨练它。
DMS系统使用940nm红外线(IR)光源以短时、高功率脉冲巧妙地照亮驾驶员的面部。这需要全局快门(GS)图像传感器，而不是您在手机中能找到的卷帘快门。然而，DMS GS参数的标准仍然主要针对拍摄“漂亮照片”的目标。
虽然DMS系统使用过度设计的传感器也没问题，但随着像素缩小以及成本和性能要求的演变，或者需要添加新功能，它们需要更多定制的、特定于应用程序的解决方案。
在用于DMS的传感器中，关键的GS参数有噪声性能、快门效率、模拟/数字转换(ADC)、高动态范围和暗电流。我们的经验和用户反馈表明，虽然这些参数很重要，但它们对于DMS与其起源的工业视觉应用不同。
例如，低光照不是DMS的主要问题。更重要的是对阳光的抗扰性设计，因为它可以遮挡940nm IR脉冲。此外，ADC分辨率对DMS的重要性不如对工业视觉应用的重要性。了解不同的DMS要求为我们提供了优化的机会。
如今，获取传感器优化参数的流程是拍照和优化算法，如图2的第一行所示。相机抓取场景的图像并处理场景。接下来，针对视线方向的自适应光学(AO)精度计算关键绩效指标(KPI)，并将信息反馈给算法开发。
图2 这是获取通过闭环仿真实现的传感器参数的流程图。图片来源：OmniVision
探究过度设计的一种方法是构建一个性能较差的传感器，看看它是否足够。但这显然不是小事。相反，我们希望发展到这样一种状态，即我们可以在不需要硅传感器的情况下引入新的传感器特性。
我们的建议是在闭环中添加仿真。我们仍将使用相同的相机拍摄相同的图像。但现在通过仿真，我们将通过让这些图像变得更糟来测试我们的传感器。
OmniVision的传感器仿真工具虽然是为更广泛的用途而开发的，但也可以用于此目的。该工具涵盖了从基本场景生成到图像处理的所有方面。场景生成后，在传感器表面创建光学图像，对光电性能进行建模，并对输出的图像进行图像处理。
电光模型还可用于拦截和后处理捕获的图像。这让我们可以通过仿真降低图像质量。通过模拟色彩滤波阵列(CFA)和量子效率(QE)的性能，无论引入任何像素结构和特性，我们都可以将光信号转换为电信号。然后可以在任何适当的增益下处理电信号，同时引入响应和暗电平非均匀性。这时，我们还可以引入暂态噪声、暗电流、闪燥噪声以及像素串扰。
从广义上讲，我们可以在新像素发明的开发过程中使用仿真工具。它使我们可以对任何一种像素结构或性能特征进行“假设”分析，并评估其对系统性能的影响。
我们使用受人眼模型启发的眼动追踪神经网络，在实验中对我们的传感器仿真工具进行了测试。目标是确定视线方向检测的准确性。虽然与实际DMS用例相比条件得到了简化，但我们相信高层次的结论仍然适用。所提出的模型是从眼睛图像中提取瞳孔等典型特征来创建分割图，因此每个卷积层的输入仅依赖于前一层的输出，并删除了连接步骤以减少内存需求。这些简化使网络能成功的以低成本执行。
作为所参考出版物中介绍的工作的一部分，作者已经训练了一个神经网络。使用人眼的常用图像(如图3上方的图片)，我们使用这个训练好的神经网络来获得“参考标准”，以便在我们的进一步分析中使用。
图3 我们在8位尺度上运行了7和10 DN的两个案例，这远远超出了任何传感器真的需要做的事情，同时引入了RN、Hnoise和VFPN的所有组合。图片来源：OmniVision
接下来，我们使用我们的工具将不同噪声级别的随机传感器噪声添加到数据集(如图3下方的图片))。这些退化的图像再次通过作者训练的网络运行，通过将这些图像与我们的参考标准进行比较，我们可以得出由于引入噪声而产生的错误。不足为奇，性能并不好(如图4)。视线检测的准确度低于5%，并且分割经常完全失败。畸形的眼睛分割会产生错误，如果分割中根本没有瞳孔，则计算失败；这些案例中的错误被削减到20%。
图4 视线方向的错误比例超过5%，许多情况下在分割过程中瞳孔检测失败(20%错误)。图片来源：OmniVision
由于添加噪声会使网络失效，我们决定重新训练网络。我们再次向图像添加噪声，但随后我们在使用我们的传感器仿真工具创建的噪声图像上重新训练神经网络，本质上就是在教会网络如何处理噪声图像。
在下一步中，我们再次为图像添加噪声并在重新训练过的网络中运行它们。这次错误通常只有小于2%的失败，并且分割失败非常罕见(如图5)。噪声再训练确保了分割的鲁棒，它表明我们得到了准确的瞳孔位置。这样我们就可以将各种类型噪声有怎样的性能进行分类。
图5 当对噪声进行训练时，视线检测的错误大大改善(<2%)并且几乎没有任何分割失败。图片来源：OmniVision
这里演示的系统绝不是专业的DMS。我们使用的图像并不能代表DMS用例中的挑战。然而，这个使用非常基本的神经网络进行的实验表明，眼睛视线检测从根本上说对噪声的敏感性很低。虽然DNN很可能无法处理充满噪声的图像，但针对噪声训练网络可以非常有效地处理噪声。
我们的简单示例表明，今天的DMS传感器的过度设计貌似是合理的。然而，我们需要整个汽车行业的合作，进而使用更先进和专业的眼动追踪算法来构建可靠的系统模型，并考虑通常会降低准确性的各种环境情况。我们的传感器仿真工具即可以集成到神经网络训练也可以集成到我们整个行业的合作伙伴的人工算法开发流程中。从他们的成果中，我们可以确定“刚刚好”。这是使系统运行所绝对需要的优化性能，不多，也不少。
我们开发的工具支持神经网络或常规算法开发的闭环需求分析，并提供了一个框架来引入与物理上一致的噪声和其他非理想情况来仿真现实生活或合成图像。可以在系统模型中引入这些图像，来评估传感器噪声、QE和调制传递函数的影响。
有了这类数据，传感器行业可以在新的更高效的设计中考虑“假设”场景。这为改进和优化系统性能以及构建更强大的解决方案提供了机会。如果我们针对比通常在现场遇到的情况更糟糕的条件训练我们的网络或开发算法，那么它们在处理更好的条件时也会更加鲁棒。它们还将降低功耗并降低成本。
然而，由于这个问题的复杂性，需要整个设计供应链的参与者参与：从汽车制造商和一级供应商到算法提供商和传感器公司。通过共享成果和向供应链开放我们的传感器仿真工具的部分内容，我们希望激发该开发链中不同参与者之间更广泛的合作。
(原文刊登于EDN美国版，参考链接：There’s more to driver monitoring system than pretty pictures，由Ricardo Xie编译。)
在L4级别以上自动驾驶还没出现的当下，DMS是保障驾驶安全的关键所在，目前，宝马、凯迪拉克、特斯拉、长城、长安、蔚来等众多厂商均有配备这一产品。而随着相关政策法规的逐步实行，DMS必将会成为新发布车型的标配产品，这一进程也需要整个汽车产业链的通力合作。
为创造跨行业交流机会、促进汽车及汽车电子产业迈进，由全球领先电子科技媒体集团AspenCore和上海市交通电子行业协会合办的“中国国际汽车电子高峰论坛”将在上海浦东喜来登由由大酒店隆重举行。此次论坛开设智慧出行峰会、智能驾驶与预期功能安全论坛、智能座舱与人机交互论坛、新能源汽车发展论坛等交流平台，以汽车电子全产业链的视角、多维度的观察方式，引发更多样与更具影响力的思考。点击这里报名参加。
最前沿的电子设计资讯
