，这期聊聊4D雷达微多普勒及分类这块，侧重于微多普勒，文章比较长，希望给大家关于毫米波雷达微多普勒分析以及基于微多普勒的目标分类有个全局性的认识，有些启发及思考就更好了，本人水平也有限，文章如有不当之处，欢迎交流。业内基于车载雷达做分类其实时间也不长，也就是这两三年的事情，究其原因还是传统雷达不争气，这点我在（如何做好一款4D 高分辨毫米波雷达）中有过评述，有兴趣的小伙伴可以回看。近年来4D雷达的发展使得点云数量及质量发生了质的变化，一扫毫米波雷达低能儿的刻板印象。事实上，4D雷达是要在低成本条件下实现人家激光雷达干的事，不夸张得说，4D雷达的星辰大海可是：场景理解（Scene Comprehension or Scene Understanding），要做场景理解主要做好3块内容，场景分割（Scene Segmentation），目标检测（Object Detection/Object Tracking），目标分类（Object Classification），这期主要聚焦于目标分类。
毫米波雷达分类必要性
对于分类本身，对内，分类结果可以反馈至其他算法模块作相关参数的自适应调整；对外，分类结果可以与其他传感器作fusion。需要指出的是，车载雷达分类的重点对象是道路VRU（Vulnerable RoadUsers）目标，也即是道路弱势群体，Euro-NCAP[1]提到的VRU包括道路行人（Pedestrians），骑行者（Cyclists），骑电动/摩托者（Motorcyclists），全天候的可靠识别VRU（特别是VRU道路横穿等场景），并最大限度的减少伤亡是自动驾驶的重要使命。而全天候的可靠分类依赖单一传感器是不行的，每种类型的传感器总有掉链子的时候，比如Daimler Bertha在部分十字路口就存在由于camera FoV不够导致无法识别行人的情况，这时候基于雷达的分类是必要的，有时候甚至是唯一的手段。所以脱胎换骨的毫米波雷达也想着能分担一点是一点。
基于4D雷达做分类的可行性分析
首先，关于目标充足的量测（detections）信息(聚类之后)是分类的数据基础，这也是传统毫米波雷达无法做好分类的主要原因之一。其次，4D雷达提供高度信息，因而能够提供关于目标更加准确的轮廓（shape）信息，这是目标分类重要输入特征之一。不过呢，由于非理想目标以及毫米波雷达本身的电磁特性等原因，shape信息比较难驾驭，也就是说，目标往往并不满足各向同性的理想点散射模型假设，因此雷达与目标相对运动过程中散射中心位置、强度的变化还会对回波幅度进行非线性调制，其对于目标shape的描述随时间并不稳定，特别是像行人等弱小目标，波动较大，不像隔壁激光雷达，所以这也是在分类模块设计中需要考虑的点之一。而shape只用到了detections的空间位置（x,y,z）信息，而detections还包含Doppler属性,这些Doppler信息很有意思，它包含了可用于VRU分类的Micro-Doppler信息，因而我们需要将目标（Object）所关联的所有有效detections进行Doppler信息分析，提取可供分类的有效特征，这一过程也可以称之为Object的微多普勒分析。
Micro-Doppler分析
讲微多普勒离不开介绍刚体及非刚体，这些我在（(加餐）欧拉角及矩阵旋转）已经有过讲解，概括得说，（非）刚体系统内部组件的微运动使得雷达回波中包含表征这些组件运动的多普勒信息（可以理解为微运动对雷达波的频率调制），称之为微多普勒（Micro-Doppler）,主要也是区别于雷达主反射回波所包含的多普勒信息，举个简单例子，人行走过程中，躯干运动所反射的雷达回波包含的就是传统意义上的多普勒信息，而表征腿脚手臂摆动的雷达回波包含微多普勒。不同类型目标之间的微多普勒可能是独一无二的，成为目标分类的有力特征。
雷达领域（非车载）对微多普勒的研究开始的比较早，这方面的顶级学者是Dr. Victor C. Chen，1998年左右就开始捣鼓这东西，他的许多工作是开创性的，主要的研究思路是对常见的包含内部微运动的系统建模，比如行人，直升机螺旋桨等等，建模的思路有两种，类似螺旋桨，摆锤这样的简单刚体，我们可以获得微运动的解析表达式，知道了运动表达式，雷达回波的相位变化也就知道了，然后可以愉快的分析微多普勒信息了；另一种是无法直接获得目标运动的解析表达式，比如人运动啊，小鸟扑翼啊之类的非刚体，常用的方法就是建立目标的运动关节点，比如人的脚踝，膝盖，手肘等诸多位置设置关节点，关节点设置的越多，描述人的运动就越精细，这类似于拍摄科幻电影过程中经常使用的动作捕捉，好，关节点有了，每个关节点随时间的运动宏观上就表现为人的运动了，问题是关节点的运动无法直接获得，目前普遍使用的方法就是基于实测采集的人运动的数据进行曲线拟合，从而获得关节点运动的近似表达式，知道了运动表达式，雷达回波的相位变化也就知道了，然后也可以愉快的分析微多普勒信息了。需要指出的是，上述雷达回波是诸多关节点反射点的叠加回波。
怎么对这些回波处理呢，由于微多普勒信息是时变非平稳的，傅里叶变换就力不从心了，有效的分析工具是时频变换（Time-Frequency Transform）,如STFT（短时傅里叶变换），Hough变换，Radon变换。
图1 Micro-Doppler Signature of HumanWalk
如图1，是对行人在雷达boresight走动过程仿真，并得到的雷达回波数据，经STFT后得到的时频图，这是我们对微多普勒的初印象，幅度最大的类似正弦曲线的部分就是人体行走摆臂特征的体现，这是人体躯干运动（图中橙色最深部分）之外人体运动系统内部最典型的微运动。此外，摆腿，晃肩等运动也会体现为图中相应的曲线特征，感兴趣的可以阅读Dr. Victor C. Chen的The Micro-Doppler Effect in Radar这本书，已经到Second Edition了，新加入了手势识别这样的更丰富更有意思的微多普勒研究点，比如Google Project Soli。
特征提取与处理
得到了目标的多普勒时频图，也就是图1的内容，那这个图怎么利用呢，也就是说如何基于这个图定义分类特征，毕竟我们的目标还是分类，常用的方法可以定义CVD(Cadence-Velocity Diagram)，以及基于CVD的mean cadencespectrum (mCS)，和meanDoppler spectrum(mDS)，这里不再赘述，有兴趣看看文献[2]。
图2 Micro-Doppler based Feature Extraction
以上是对微多普勒特征经典的，理想的处理方式，这种方式效果是不错，但是不适合车载雷达，原因类似于（4D 雷达天线布局思考-俯仰角篇）说的理想面阵beam forming效果最好但是也不适合车载雷达。主要原因如下：
1 多目标（Multi-Target）情况下产生互干扰；
2 处理周期约束对时频图产生截断，使得能量存在弥散（如图3），干扰特征提取；
图3 时频图截断
3 时频变换的时间复杂度及空间复杂度问题，嵌入式平台可能吃不消。
我在（(加餐）雷达信号处理框架）提过，目前主流的信号处理架构为range-Doppler-Angle 或者range-Angle-Doppler, 如何将微多普勒信息提取融入到车载雷达信号处理结构是值得思考的问题。
我提供三种处理思路，这三种思路逐层递进。
1 适用于range-Doppler-Angle架构，由于速度分辨率提高，range-Doppler map中已经呈现出目标相应的微多普勒信息，也就是多普勒扩展，那么可以在信号处理层面单独基于这些扩展定义特征，适用于detection相对比较少的情况。
2 适用于range-Doppler-Angle及range-Angle-Doppler架构，信号处理层面不做特征提取处理，按照即有架构处理流程即可，在聚类阶段，表征某一Object的detections会得到聚类，分析这些detection的多普勒信息一定程度上等价于分析目标的微多普勒特征。
3适用于range-Doppler-Angle架构，且针对距离速度高分辨情况。2D-FFT之后，类似于行人，骑行者等目标都有独特的pattern，直接在range-Doppler map上粗聚类和精聚类相结合，可以获得目标各组件独立的微多普勒信息，这是最接近理想的处理方式。
针对1，一种简单的策略如下，Hermann Rohling 提出速度维扩展及距离维扩展作为两个分类特征 (range &Doppler profile)，在range-Dopplermap 获得关于目标多普勒扩展信息。如图4，对于纵向车辆在range以及velocity两个维度分别是extended和point shaped，而横向车辆是point shaped和extended，而对于行人range point shaped以及velocity extended.
图4
图5
针对2，这里介绍下Bosch的做法，其算法大致流程如图6，图7的range-Doppler map可以看到，分辨率提高使得速度维度获得大幅度扩展，CFAR之后可以得到大量的detections，聚类之后可以对这些detection进行微多普勒分析（如图8），当然如何分析，和定义微多普勒特征，如何提高特征的鲁棒性等等问题都是开放的，有待研究的。这一块也是相对前沿的研究，各雷达厂商的功力也体现在这。
图6 Micro-Doppler basedClassification (Bosch)
图7 range-Doppler map
图8 Feature Extraction
针对3 讲讲Continental 可能的做法，图9是3种高分辨雷达采集的VRU range-Doppler pattern，那么针对pedestrian，Conti设计出一种Extractionof body parts的方法。图10是大致的算法流程，从图11可以看到，人体各部分的微多普勒信息得到独立分析，这是之前的方法做不到的，结合MHT单点跟踪，甚至能够勾勒身体组件随时间运动，这是很酷的效果，我觉得这已经超越分类的范畴了，甚至可以分析人的运动模式，行为特征，能做的事情更多了，不过，这种方法个人认为受约束比较大。
图9 Micro-Doppler pattern
图10
图11
目前ContinentalARS 408 21SC3版本集成基于微多普勒的目标分类算法，看效果还不错，而Conti在之后的5代高分辨雷达中俨然将基于Micro-Doppler的分类作为标配。Conti的实践也证明微多普勒在车载雷达领域的应用价值，况且408也不是真正意义上的4D雷达，所以微多普勒特征在4D雷达上的结果将更加可靠。
写到这发现写的有点多了，没刹住，洋洋洒洒数千字，classifier还没讲，下次吧。
最后我想说两点，第一是，微多普勒研究是门实验性的研究，需要以大量的数据作为支撑。第二，早期人们只关注目标的主反射信息，而讲微多普勒视为旁瓣干扰（range-Doppler map上），后来人们逐渐发现这东西还真有用，事实上，这种思路在毫米波雷达研究中也比较多，比如路边沿的静态反射点并不需要剔除，反而可以作为road features。对于事物的判断并不能一棍子打死，多想想，多对比会有额外收获。
下次见
。
Reference
[1] https://www.euroncap.com/en/for-engineers/technical-papers/
[2] Seifert A K , Amin M , Zoubir A M .Toward Unobtrusive In-home Gait Analysis Based on Radar Micro-DopplerSignatures[J]. IEEE Transactions on Biomedical Engineering, 2019:1-1.
[3] Chen, VictorC. The Micro-doppler effectin radar[M]. Artech House, 2011.
如何做好一款4D 高分辨毫米波雷达
4D 雷达天线布局思考-俯仰角篇
(加餐）从车载雷达认识傅里叶变换
(加餐）克拉美劳下界与分辨率
(INSIGHTS TALK) 聊聊 Cognitive Radar
(加餐）欧拉角及矩阵旋转
4D雷达天线布局思考-方位角篇
4D雷达之MIMO通道分离
(INSIGHTS TALK 第二期) 聊聊 Lunewave
(加餐）雷达信号处理框架
最前沿的电子设计资讯
