4D毫米波雷达超分辨率成像方法及系统

本发明涉及毫米波雷达，具体而言，涉及一种4d毫米波雷达超分辨率成像方法，还涉及一种4d毫米波雷达超分辨率成像系统。

背景技术：

1、4d成像毫米波雷达通常工作于77ghz或79ghz频段，能够同时获取目标的距离、径向速度、方位角和俯仰角信息，相较于传统毫米波雷达具有更强的空间感知能力，已广泛应用于自动驾驶、智能交通、机器人感知和安防监控等场景。经距离处理、多普勒处理及二维测角后，雷达可输出包含三维位置与径向速度的检测点，并进一步形成稀疏点云。

2、然而，现有4d毫米波雷达受天线孔径、阵列规模、发射带宽、信噪比、硬件成本和多径传播等因素影响，仍存在距离分辨率和角度分辨率不足的问题。在多目标近距离、相邻角度较小或弱反射目标存在的场景下，传统成像与点云生成方法容易出现目标粘连、边界模糊、点云稀疏和漏检。

3、现有技术中，提出了一类基于子空间或稀疏重构的超分辨率算法，例如多重信号分类、旋转不变子空间估计以及压缩感知类方法。该类方案能够在理想阵列模型和稀疏先验成立时改善角度分辨，但通常依赖精确噪声统计与阵列流形标定；在非理想阵列误差、复杂交通场景和低信噪比条件下，鲁棒性有限，且难以同时输出与谱图一致的增强点云。

4、现有技术中，还提出了一类针对单一雷达谱图或单帧点云的深度学习增强方案。该类方案能够学习数据驱动的映射关系，但多仅对距离—角度谱、距离—多普勒谱或点云三者之一进行增强，未充分融合距离—方位角、距离—俯仰角、距离—多普勒与点云几何结构等多维特征，弱反射目标与相邻目标的恢复能力受限。

5、现有技术中，另提出了一类生成对抗网络图像超分辨率方案。该类方案在光学图像或稀疏雷达成像图上可改善视觉分辨率，但若缺少雷达物理一致性约束，生成结果可能出现与雷达测量物理规律不一致的伪峰、速度错配或点云—谱图投影不一致，难以直接服务于车载感知闭环。

6、综上，现有技术仍存在以下不足：子空间与压缩感知类方法对模型假设敏感；单谱图或单点云深度学习方法未充分利用4d毫米波雷达多维特征；生成式增强缺少雷达物理一致性约束，易产生与测量物理规律不符的结果。因此，如何融合4d毫米波雷达多维谱图与稀疏点云、在生成对抗框架下完成超分辨率成像与点云增强，并引入雷达物理一致性约束，是本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的是提供一种4d毫米波雷达超分辨率成像方法及系统，通过对低分辨率雷达谱图和稀疏点云进行联合建模，经谱图编码、多尺度特征提取与注意力融合生成高分辨率雷达成像图和增强雷达点云，并在训练阶段联合对抗损失、谱图重建损失、点云增强损失与雷达物理一致性损失，从而解决单一特征增强不足、相邻弱目标难分离以及生成结果易违背雷达物理约束的问题。

2、为了实现上述目的，本发明所提供的技术方案如下：

3、本发明提供了一种4d毫米波雷达超分辨率成像方法，包括：采集4d毫米波雷达原始回波数据；对所述原始回波数据进行距离向快速傅里叶变换、多普勒向快速傅里叶变换、阵列角度估计和恒虚警检测，构建距离—方位角特征图、距离—俯仰角特征图、距离—多普勒特征图以及低分辨率稀疏雷达点云；将所述距离—方位角特征图、所述距离—俯仰角特征图、所述距离—多普勒特征图以及所述低分辨率稀疏雷达点云作为联合输入，经生成对抗网络的生成器进行谱图编码、多尺度特征提取与注意力融合，输出高分辨率雷达成像图和增强雷达点云；在训练阶段，利用判别器与联合损失函数对所述生成对抗网络进行训练，所述联合损失函数至少包含对抗损失、谱图重建损失、点云增强损失和雷达物理一致性损失；在部署阶段，保留所述生成器用于对实时4d毫米波雷达数据进行超分辨率成像和点云增强。在上述技术方案中，多维谱图与稀疏点云联合输入使网络同时学习反射强度分布、速度分布与空间轮廓；生成器内的编码、多尺度提取与注意力融合有利于弱反射目标与相邻目标恢复；雷达物理一致性损失约束生成结果满足测量物理对应关系，降低伪峰与错配风险。

4、作为一种优选的方案，所述构建距离—方位角特征图、距离—俯仰角特征图、距离—多普勒特征图以及低分辨率稀疏雷达点云，具体包括：将谱图特征与点云几何特征同步映射至生成器输入空间，使距离维、方位角维、俯仰角维与多普勒维的反射强度分布与点云空间轮廓共同参与后续编码。在上述技术方案中，谱图与点云在同一输入空间对齐，避免仅依赖单一模态导致的轮廓缺失或速度信息丢失。

5、作为一种优选的方案，所述谱图编码用于提取距离、方位角、俯仰角和多普勒速度维度的局部特征；所述多尺度特征提取采用基于自注意力机制的变换结构，捕获局部目标边缘信息与全局场景分布信息；所述注意力融合对不同维度雷达特征进行加权融合。在上述技术方案中，局部卷积编码保留细粒度谱峰结构，自注意力变换结构扩大感受野，跨维注意力融合提升弱目标和相邻目标的可分性。

6、作为一种优选的方案，所述高分辨率雷达成像图包括高分辨率距离—角度谱图、高分辨率距离—多普勒谱图或高分辨率角度热力图中的至少一种；所述增强雷达点云由点云增强处理得到，所述点云增强处理包括点云补密、目标轮廓恢复、目标边缘增强和异常点抑制中的至少一项。在上述技术方案中，谱图超分辨率与点云增强形成一体化输出，可同时服务成像显示与下游检测跟踪。

7、作为一种优选的方案，所述雷达物理一致性损失依据雷达测量物理约束构造，所述物理约束包括谱图峰值位置与点云距离、径向速度的对应约束，以及增强点云投影回谱图空间后与高分辨率谱图峰值位置的一致性约束中的至少一项。在上述技术方案中，物理约束把生成结果拉回到可解释的雷达测量流形附近，抑制与物理规律不符的伪结构。

8、作为一种优选的方案，所述判别器采用局部区域判别结构，对生成结果在局部目标边缘、反射强度分布和目标分离效果上的真实性进行判别。在上述技术方案中，局部判别更关注目标边界与邻近目标分离区域，有利于改善粘连与边缘模糊。

9、作为一种优选的方案，部署阶段将训练完成的生成器部署于车载域控制器、边缘计算单元或雷达感知处理器，并将所述高分辨率雷达成像图和所述增强雷达点云输出至目标检测、目标跟踪、占用栅格构建或环境建模模块中的至少一类下游模块。在上述技术方案中，训练完成后仅保留生成器推理链路，便于满足车载实时性要求。

10、本发明还提供了一种4d毫米波雷达超分辨率成像系统，包括：天线阵列及收发前端，用于采集4d毫米波雷达原始回波数据；多维雷达特征构建模块，用于对所述原始回波数据进行距离向快速傅里叶变换、多普勒向快速傅里叶变换、阵列角度估计和恒虚警检测，构建距离—方位角特征图、距离—俯仰角特征图、距离—多普勒特征图以及低分辨率稀疏雷达点云；生成器模块，用于将所述距离—方位角特征图、所述距离—俯仰角特征图、所述距离—多普勒特征图以及所述低分辨率稀疏雷达点云作为联合输入，经谱图编码、多尺度特征提取与注意力融合，输出高分辨率雷达成像图和增强雷达点云；所述生成器模块包括雷达谱图编码模块、多尺度特征提取模块、注意力融合模块、超分辨率重建模块和点云增强模块；判别器模块，用于在训练阶段判别生成结果与真实高分辨率结果之间的差异；雷达物理一致性约束模块，用于在训练阶段构造雷达物理一致性损失；部署推理模块，用于在部署阶段调用所述生成器模块对实时数据进行超分辨率成像和点云增强。在上述技术方案中，系统模块与方法步骤对应，可支撑训练阶段的对抗学习与部署阶段的实时超分辨率推理。

11、作为一种优选的方案，所述雷达谱图编码模块对距离—方位角特征图与距离—俯仰角特征图分别进行卷积编码，对距离—多普勒特征图进行多普勒分支编码，对低分辨率稀疏雷达点云进行点集多层感知编码；所述注意力融合模块对多尺度特征执行跨维注意力融合；所述超分辨率重建模块经残差细化主干分别连接谱图超分辨率头与点云增强头。在上述技术方案中，分分支编码适配不同模态数据结构，残差细化主干稳定超分辨率重建，双头输出保证谱图与点云同步增强。

12、本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。