基于4D毫米波雷达和红外图像的护帮板姿态估计方法及系统与流程

本发明属于煤矿智能感知、液压支架状态监测、4d毫米波雷达点云处理、红外图像识别和多模态bev融合检测，具体涉及一种基于4d毫米波雷达和红外图像的护帮板姿态估计方法及系统。

背景技术：

1、在综采工作面作业过程中，液压支架护帮板主要用于支护煤壁，护帮板的展开、收回、半展开、偏摆及卡滞等工作状态，直接决定采煤机滚筒的运行安全性。若护帮板未及时收回或出现姿态异常，其自由端极易侵入采煤机滚筒的运动空间，引发截割干涉问题，不仅会造成设备结构损伤，还会导致井下生产作业中断。因此，精准、实时且稳定地获取护帮板的空间位置与姿态参数，是保障综采工作面安全高效生产的核心关键。

2、目前，行业内主要采用图像识别技术实现护帮板目标检测，可通过红外图像或可见光图像完成护帮板的有效识别。但该技术方案存在一定的不足，单目图像无法输出可靠的绝对深度信息，同时井下复杂工况下的热噪声、设备遮挡、相机安装角度偏差等因素，会大幅降低检测结果的稳定性与准确性。

3、4d毫米波雷达可适配井下粉尘、水雾、弱光等恶劣作业环境，能够输出目标的三维坐标、运动速度、反射强度等多维信息，可有效弥补图像识别技术的短板。但井下场景应用中，雷达采集的点云数据普遍较为稀疏，且护帮板、顶梁、支架立柱、煤壁等多个工作面结构的回波信号相互混杂，导致单纯依靠雷达点云数据开展护帮板姿态恢复工作，存在语义信息缺失、局部点云缺失的问题，无法精准求解护帮板真实姿态。

4、现有主流融合检测方案，大多依托图像检测框或图像分割区域筛选、提取雷达点云数据，再通过点云平面拟合算法求解护帮板三维姿态。该类方案虽可借助图像语义信息缩小点云搜索范围，一定程度上提升了数据匹配效率，但在点云数量匮乏、护帮板自由端点云缺失、图像检测框包含大量背景点云等工况下，极易出现点云与目标误匹配、姿态检测结果频繁抖动的问题，检测精度和稳定性难以满足井下安全生产要求。综上，亟需提供一种全新的检测技术方案，通过图像与雷达bev联合检测结合图像姿态先验约束，实现点云匹配、补全与三维修正，精准稳定获取护帮板姿态信息。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供一种基于4d毫米波雷达和红外图像的护帮板姿态估计方法及系统，该方法能实现井下遮挡、粉尘和稀疏点云条件下护帮板姿态的高精度、高鲁棒性估计，为采煤工作面护帮板状态感知和截割干涉预防提供了可靠的感知基础。该系统将红外视觉语义与雷达空间几何在bev空间内深度融合，能实现井下复杂工况下护帮板姿态的稳定估计与异常预警，为综采工作面智能感知提供了完整的系统级解决方案。

2、为了实现上述目的，本发明提供一种基于4d毫米波雷达和红外图像的护帮板姿态估计方法，包括以下步骤：

3、步骤1：同步获取多源数据并进行时间匹配；同步采集目标作业区域内的红外图像帧和4d毫米波雷达点云帧，根据时间戳或接收时间进行数据匹配；

4、步骤2：构建双分支联合检测网络并进行多模态特征提取；构建包含图像分支和雷达分支的双分支联合检测网络，分别对红外图像帧和雷达点云帧进行特征提取和位置建模；

5、步骤3：进行bev空间特征融合并输出联合检测结果；将图像bev特征和雷达bev伪图像特征在bev空间中进行融合，基于融合特征输出护帮板目标检测结果、二维姿态骨架和融合置信度；

6、步骤4：将雷达点云投影至红外图像平面；基于预先标定的雷达坐标系到红外相机坐标系的外参以及红外相机内参，将雷达点云投影到红外图像平面，建立雷达点与图像像素之间的空间对应关系；

7、步骤5：基于姿态骨架约束匹配雷达点云；利用融合检测结果的姿态骨架和图像目标区域，对雷达点进行姿态约束匹配，获得与每个护帮板对应的实测雷达点集合；

8、步骤6：结构化补全缺失雷达点；当实测雷达点集合不满足预设完整性条件时，利用二维姿态骨架、护帮板尺寸模型、实测雷达点集合和历史姿态状态生成结构化补全点集合；

9、步骤7：建立联合姿态优化目标并求解三维姿态；利用二维姿态骨架、实测雷达点集合、补全点集合和护帮板尺寸模型建立联合姿态优化目标，求解护帮板三维姿态状态；

10、步骤8：姿态结果可信度评估与异常判断；根据多维度质量指标计算姿态结果可信度，输出护帮板三维姿态、空间占位和异常姿态判断结果。

11、作为一种优选，在步骤1中，同步获取多源数据并进行时间匹配的过程如下：

12、s11：在采煤机摇臂端或液压支架顶部安装红外相机，同时，在红外相机相邻的稳定基座上安装4d毫米波雷达；

13、s12：通过红外相机和4d毫米波雷达分别采集目标作业区域内的红外图像帧和雷达点云帧；

14、s13：根据时间戳或系统接收时间，从缓存中选取相互匹配的红外图像帧和雷达点云帧；当红外相机与雷达不具有统一硬件时钟时，采用数据到达同一数据处理设备的系统接收时间作为公共时间轴，选择时间差绝对值最小的帧作为匹配帧；当最小时间差大于预设的最大允许时间差时，终止本次姿态估计并输出数据不同步状态。

15、作为一种优选，在步骤2中，构建双分支联合检测网络并进行多模态特征提取的过程如下：

16、s21：构建双分支联合检测网络；图像分支采用yolo网络，通过主干网络和特征金字塔融合层提取红外图像的多层次特征，再通过目标检测头获得护帮板的检测边界框、类别标签和检测置信度，即图像检测结果，采用姿态关键点头提取护帮板的姿态关键点集合；其中，为当前红外图像，为yolo第层图像特征，表示yolo主干和特征融合算子，图像检测结果包括目标边界框、类别和检测置信度，图像姿态关键点集合包括护帮板铰接端关键点、自由端关键点、板面边缘点和板面中心线参数中的至少两类姿态结构，为目标检测头映射函数，为姿态关键点头映射函数；

17、雷达分支采用pointpillars网络，将点云按bev格网划分柱体，并对柱内点构造点特征向量，所述点特征向量包括三维坐标、反射强度、径向速度、相对柱中心偏移量和相对点集质心偏移量中的至少三项，经由共享多层感知机和和最大池化层提取柱特征，实现雷达bev伪图像的多模态特征提取；

18、s22：多模态特征在bev空间对齐；

19、将图像特征通过雷达坐标系到红外相机坐标系的外参矩阵和相机投影函数，转换为雷达bev空间内的图像bev特征，其中为坐标系下的bev单元中心点，为柱中心坐标，为第个bev单元的图像bev特征，为不同尺度图像特征的融合权重，sample表示双线性采样操作；

20、对雷达点云中的每一个点对，构造特征向量，其中，为点的三维空间坐标，为径向速度，为反射强度或信噪比，为柱内点集质心坐标；

21、通过mlp和最大池化，得到雷达bev伪图像特征，其中为第个bev单元的雷达bev伪图像特征。

22、作为一种优选，在步骤3中，进行bev空间特征融合并输出联合检测结果的过程如下：

23、s31：将图像bev特征和雷达bev伪图像特征进行注意力加权融合，得到融合bev特征，其中和分别为图像分支和雷达分支的融合权重；表示逐通道加权运算；

24、s32：基于融合bev特征，通过检测头输出护帮板目标检测结果、二维姿态骨架和融合置信度，且第个护帮板的完整检测输出，其中为第个护帮板在bev平面上的中心坐标，单位为m；、、分别为护帮板的长、宽、高尺寸参数，单位为m；为护帮板在bev平面上的朝向角，单位为rad；为护帮板的二维姿态骨架，由铰接端、自由端和板面边缘的关键点连线构成；为融合检测置信度，取值范围为[0,1]；为融合检测头映射函数。

25、作为一种优选，在步骤4中，将雷达点云投影至红外图像平面的过程如下：

26、对于第个雷达点，其在雷达坐标系下的齐次坐标为；根据外参矩阵计算其在红外相机坐标系下的齐次坐标；根据红外相机内参和针孔成像模型计算投影像素坐标，如下式所示：

27、；

28、；

29、式中，，分别为投影像素的横坐标和纵坐标，，为红外相机在图像水平方向和垂直方向上的焦距；，为红外相机的主点在图像平面上的横坐标和纵坐标；为雷达点在相机坐标系下的深度；

30、仅当且投影像素坐标位于有效图像范围内时，该雷达点参与被保留并进入步骤5进行姿态约束匹配分计算及实测雷达点归属确定；否则该雷达点不参与后续处理。

31、作为一种优选，在步骤5中，基于姿态骨架约束匹配雷达点云的过程如下：

32、s51：对第个护帮板和第个雷达点，基于投影点是否位于护帮板图像目标区域、投影点到姿态骨架的距离、投影点沿铰接端至自由端方向的一致性、投影点与历史空间位置的一致性以及融合检测置信度确定姿态约束匹配分，如下式所示：

33、；

34、式中，为示性函数，当雷达点投影像素坐标位于第个护帮板图像目标区域内时取1，否则取0；为投影像素点到姿态骨架的归一化距离；为距离高斯核的宽度参数；为投影像素点沿铰接端至自由端方向的一致性评分；为投影像素点与历史空间位置的一致性评分；为融合检测置信度；、、、、分别为各分项的非负权重系数，满足；

35、s52：基于姿态约束匹配分获取第个护帮板的实测雷达点集合，其中为预设匹配分阈值，同一雷达点在多个护帮板目标重叠时仅归属于匹配分最高的目标。

36、作为一种优选，在步骤6中，结构化补全缺失雷达点的过程如下：

37、s61：当中的点数小于最少实测点数，或者实测点未覆盖铰接端、自由端或板面关键区域时，调用综合补全算子，以二维姿态骨架、护帮板尺寸模型、实测雷达点集合和上一时刻姿态状态为约束，生成缺失边缘点、自由端点、角点、板面网格点或等效几何约束的结构化补全点集合，其中表示综合补全算子，为二维姿态骨架，为护帮板尺寸模型，包含护帮板实际长度、宽度和厚度，为上一时刻姿态状态，为第个护帮板的历史姿态记忆队列；

38、s62：进行模板形变补全；

39、在模板形变补全中，根据护帮板实际尺寸建立标准模板点集，标准模板点集包括铰接端采样点、自由端采样点、长边采样点、短边采样点和板面网格采样点；通过求解模板刚体变换和小幅形变参数，使模板投影后贴合图像姿态骨架、模板三维表面贴合实测雷达点，如下式所示：

40、；

41、式中，为模板旋转矩阵，为模板平移向量，为模板点的小幅形变量，表示投影函数，表示模板投影轮廓与图像姿态骨架之间的误差，表示模板表面与实测雷达点之间的锚定误差，、、为各误差项的非负权重系数；

42、经模板形变补全得到的补全点集合，如下式所示：

43、对应区域在中缺失；

44、式中，为模板采样点，为该模板点对应的小幅形变量；

45、s63：进行时序记忆补全；

46、在时序记忆补全中，系统维护最近帧高可信姿态结果和对应点云，形成历史姿态记忆队列；当当前帧点云缺失时，将历史可靠帧中的点云按照相邻帧姿态变换映射到当前帧，并根据当前图像姿态骨架进行筛选，经时序记忆补全得到的补全点集合满足下式：

47、；

48、式中，表示由姿态状态确定的三维刚体变换矩阵，为由上一时刻姿态预测得到的当前姿态，为历史第帧的姿态状态，为历史第帧的实测雷达点集合，为历史帧姿态可信度，为历史帧可信度阈值，为骨架投影距离阈值；

49、s64：进行图结构补全；

50、通过层图消息传递，在各层中聚合领域节点的空间位置、骨架结构和节点类型信息以更新节点特征，将最终层特征输入多层感知机，同时输出缺失节点的三维位置偏移量和补全置信度；

51、其中，为第层图结构中节点的特征向量，为节点的邻域节点集合，为由图像骨架距离、三维距离和节点类型共同确定的注意力权重，为激活函数，、为两个可学习权重矩阵，为预测的位置偏移，为补全置信度，取值范围为[0,1]；

52、将图结构中所有缺失节点经预测位置偏移量修正后的三维坐标和作为补全点，并与对应的补全置信度关联，构成图结构补全点集合，如下式所示；

53、为缺失节点；

54、s65：由三类补全结果合并得到综合补全点集合，如下式所示：

55、；

56、式中，表示去重、空间一致性筛选和置信度融合操作；

57、对于任一补全点，其补全置信度如下式所示：

58、；

59、式中，为补全点投影到图像后与姿态骨架的误差，为补全点与实测雷达点深度锚点的一致性误差，为补全点与历史姿态预测的一致性误差，为模板形变残差，、、、为非负权重系数，表示限幅函数；

60、s66：计算补全比例和平均补全置信度，其中为极小正数，用于防止分母为零。

61、作为一种优选，在步骤7中，建立联合姿态优化目标并求解三维姿态的过程如下：

62、s71：以表示由姿态状态和尺寸模型确定的护帮板三维表面，定义点云匹配误差，如下式所示：

63、；

64、式中，表示点到三维表面的最短欧氏距离；

65、s72：定义补全一致性误差；

66、s73：基于图像姿态误差、点云匹配误差、补全一致性误差、几何约束误差和时序连续性误差建立联合姿态优化目标，并通过最小化联合优化目标求得最终三维姿态状态，如下式所示：

67、；

68、式中，约束三维姿态投影后与图像关键点和姿态骨架一致，约束护帮板尺寸、铰接轴和机械运动范围，约束相邻帧姿态连续，、、、、为各误差项的非负权重系数。

69、作为一种优选，在步骤8中，姿态结果可信度评估与异常判断的过程如下：

70、s81：令为最优姿态处的归一化残差；定义雷达实测点覆盖度评分、优化残差评分和时间同步评分，其中为优化残差归一化尺度；为图像帧与点云帧的时间差；为最大允许时间差；

71、s82：定义姿态结果可信度，其中为图像姿态置信度，为bev融合检测置信度，为补全比例惩罚指数；

72、s83：系统根据姿态结果可信度输出以下结果：

73、当高于预设可靠度阈值时，输出第个护帮板的三维姿态、空间占位以及姿态结果可信度；当低于预设可靠度阈值时，输出低可信姿态或待复核状态，并标记该护帮板的对应深度区间；同时，系统根据护帮板展开角、偏摆角、自由端空间位置和空间占位判断是否存在异常姿态或截割干涉风险；当护帮板自由端侵入预设安全区域时，输出截割干涉预警及对应的风险等级。

74、与现有技术相比，本发明具有以下有益效果：

75、1、本发明采用红外图像分支和4d毫米波雷达点云分支并行处理的双分支架构。红外图像分支通过yolo网络提取护帮板语义、姿态关键点、边缘线和图像姿态置信度，并生成图像bev特征；雷达分支通过pointpillars网络将点云编码为雷达bev伪图像特征，提供三维尺度和空间回波分布。两类bev特征在统一空间内通过注意力加权融合后，融合检测头输出护帮板目标中心、尺寸、朝向、二维姿态骨架和融合置信度。该架构使图像提供的二维语义先验与雷达提供的三维几何信息在bev空间中互补融合，克服了单一传感器在井下遮挡、粉尘和低照度条件下感知能力不足的局限，提高了护帮板目标检测和姿态结构提取的稳定性。

76、2、本发明通过姿态骨架约束雷达点云匹配，定义了融合投影位置、骨架距离、方向一致性、历史一致性和融合置信度五项因素的姿态约束匹配分，并以此筛选与各护帮板对应的实测雷达点集合。该匹配机制有效降低了顶梁、立柱和煤壁等背景结构对护帮板点云的干扰，同时通过唯一归属约束解决了多护帮板目标重叠区域的点云归属歧义，为后续姿态估计提供了高质量的实测点云输入。

77、3、本发明构建了包含模板形变补全、时序记忆补全和图结构补全三类子算子的结构化补全机制。当实测雷达点因遮挡、回波缺失或反射率不足而未覆盖护帮板关键区域时，综合补全算子以二维姿态骨架、护帮板尺寸模型和历史姿态状态为约束，生成缺失边缘点、自由端点、角点和板面网格点等结构化补全点，并为每个补全点赋予量化置信度。该机制使护帮板姿态估计在4d毫米波雷达点云稀疏或局部缺失条件下仍能保持姿态输出的连续性和可解释性。

78、4、本发明在联合姿态优化中引入补全置信度驱动的差异化约束策略。点云匹配误差中补全点以补全置信度作为权重参与匹配约束，高可信补全点对姿态约束的贡献接近实测点，低可信补全点自动降低影响；同时定义补全一致性误差，以互补置信度为权重对低可信补全点施加额外约束，防止其主导最终姿态。该策略实现了补全信息的充分利用与风险控制的有机平衡，提高了姿态估计在点云缺失条件下的鲁棒性。

79、5、本发明构建了融合图像姿态置信度、bev融合置信度、雷达实测点覆盖度评分、优化残差评分、时间同步评分、补全比例惩罚和平均补全置信度七项因素的多维姿态结果可信度评估体系。该评估体系从数据源质量、优化求解效果、补全依赖程度和时间对齐精度四个维度综合评价姿态估计结果的可靠性，系统根据可信度输出有效姿态或待复核状态，并根据护帮板三维姿态和空间占位进行异常姿态和截割干涉风险判断，为采煤工作面护帮板状态感知和截割干涉预防提供了完整、可靠的技术方案。

80、该方法实现了井下遮挡、粉尘和稀疏点云条件下护帮板姿态的高精度、高鲁棒性估计，为采煤工作面护帮板状态感知和截割干涉预防提供了可靠的感知基础。

81、本发明撑提供了一种基于4d毫米波雷达和红外图像的护帮板姿态估计系统，用于实现一种基于4d毫米波雷达和红外图像的护帮板姿态估计方法，包括：

82、红外图像采集模块，用于连续采集护帮板目标区域的红外图像帧，并将图像帧传输至双分支联合检测模块和时间同步与帧匹配模块；

83、4d毫米波雷达点云采集模块，用于连续采集包含三维空间坐标、径向速度和反射强度的雷达点云帧，并将点云帧传输至双分支联合检测模块和时间同步与帧匹配模块；

84、时间同步与帧匹配模块，用于根据时间戳或系统接收时间，从红外图像帧缓存和雷达点云帧缓存中选取相互匹配的帧对；

85、传感器标定模块，用于通过离线联合标定或现场标定的方式为图像bev特征投影和雷达点云投影提供空间变换参数；

86、双分支联合检测模块，用于构建包含图像分支和雷达分支的双分支联合检测网络，对时间同步后的红外图像帧和雷达点云帧并行处理，在bev空间内融合两类特征并输出护帮板目标检测结果、二维姿态骨架和融合置信度；

87、点云投影模块，用于基于传感器标定模块提供的雷达-红外外参矩阵和红外相机内参，通过齐次坐标变换与针孔成像模型将雷达点云投影至红外图像平面，建立雷达点与图像像素之间的空间映射关系；

88、姿态约束点云匹配模块，用于利用二维姿态骨架、图像目标区域和融合检测置信度作为先验约束，对投影后的雷达点进行筛选与归属判定；

89、结构化点云补全模块，用于当实测雷达点集合不满足预设完整性条件时，以二维姿态骨架、护帮板尺寸模型、实测雷达点集合和上一时刻姿态状态为约束，生成包含缺失边缘点、自由端点、角点和板面网格点的结构化补全点集合；

90、联合姿态估计模块，用于利用二维姿态骨架、实测雷达点集合、补全点集合和护帮板尺寸模型建立联合姿态优化目标，通过最小化该目标求解护帮板三维姿态状态；

91、可信度评价与异常判断模块，用于计算姿态结果可信度，并断是否存在异常姿态或截割干涉风险；当护帮板自由端侵入预设安全区域时，输出截割干涉预警及对应的风险等级。

92、基于红外图像采集模块的设置，能为后续yolo图像分支提供稳定、连续的红外视觉输入，在井下低照度和粉尘环境下能有效捕捉护帮板的热辐射特征和结构轮廓。基于4d毫米波雷达点云采集模块的设置，能为后续pointpillars雷达分支提供真实的三维空间回波信息，弥补了单一红外图像缺乏绝对深度信息的不足。基于时间同步与帧匹配模块的设置，有效解决了多源异构传感器之间的时空对齐问题，从数据源头上保障了跨模态融合的输入一致性。基于传感器标定模块的设置，为图像bev特征投影和雷达点云投影提供了精确的空间变换参数，确保了后续跨模态数据融合和点云投影匹配在统一的空间坐标系下进行。基于双分支联合检测模块的设置，能使图像提供的二维语义先验与雷达提供的三维几何信息在统一bev空间内实现动态互补增强，克服了单一传感器在井下遮挡、粉尘和低照度条件下感知能力不足的局限。基于点云投影模块的设置，建立了三维空间点与二维图像像素之间的精确几何映射关系，为后续姿态约束匹配提供了空间有效的跨模态数据关联基础。基于姿态约束点云匹配模块的设置，有效滤除了顶梁、立柱和煤壁等背景结构的干扰，解决了多护帮板目标重叠区域的点云归属歧义问题，为姿态估计提供了高质量、低噪声的实测点云输入。基于结构化点云补全模块的设置，能使护帮板姿态估计在4d毫米波雷达点云稀疏或局部缺失条件下仍能保持姿态输出的连续性和可解释性。基于联合姿态估计模块的设置，实现了对实测雷达点和结构化补全点的差异化利用与风险控制，使姿态估计结果能够在充分利用多源约束信息的同时有效抑制点云缺失带来的不确定性，显著提高了护帮板姿态估计在井下复杂工况下的精度与鲁棒性。基于可信度评价与异常判断模块的设置，实现了对姿态估计结果可靠性的全面量化评价，并基于可信度输出差异化结果和截割干涉预警，为采煤工作面护帮板状态感知和截割干涉预防提供了从姿态估计到可靠性评估再到安全预警的完整决策链路。

93、该系统将红外视觉语义与雷达空间几何在bev空间内深度融合，实现了井下复杂工况下护帮板姿态的稳定估计与异常预警，为综采工作面智能感知提供了完整的系统级解决方案。