图像语义引导与点云面拟合的护帮板位姿检测方法及系统

摘要: 本发明属于煤矿智能感知、机器视觉、毫米波雷达点云处理及多传感器融合,具体涉及一种图像语义引导与点云面拟合的护帮板位姿检测方法及系统。背景技术:1、在综采工作面中...
图像语义引导与点云面拟合的护帮板位姿检测方法及系统

本发明属于煤矿智能感知、机器视觉、毫米波雷达点云处理及多传感器融合,具体涉及一种图像语义引导与点云面拟合的护帮板位姿检测方法及系统。

背景技术:

1、在综采工作面中,采煤机滚筒沿工作面运行并执行截割作业,液压支架护帮板用于支护煤壁。护帮板在展开、回收或姿态异常时,可能侵入采煤机滚筒的运动空间,引发截割干涉风险。为实现截割干涉的有效预防,需实时获取护帮板相对于采煤机或统一设备坐标系的三维位置、朝向和空间占位,仅依赖二维图像中的目标存在性判断无法满足干涉防控的精度要求。

2、现有图像目标检测方法能够在红外或可见光图像中识别护帮板并输出二维边界框或分割区域,但单目图像检测结果本身不包含可靠的绝对深度信息;单纯根据检测框尺寸或图像位置推算距离,容易受到目标姿态、安装角度和成像尺度变化的影响,无法准确还原护帮板的三维位姿与空间占位。另一方面,毫米波雷达能够输出目标点的三维坐标,但井下或工业现场的雷达点云通常较为稀疏,且混有顶梁、立柱、煤壁、线缆和随机散点等大量背景数据;直接在整幅点云中完成护帮板三维识别,需要大量点云标注和模型训练工作,工程实施成本较高。

3、若采用两类数据简单融合的思路,仅将投影到图像检测框内的所有点直接作为护帮板点云,仍会受到检测框背景区域、相邻液压支架结构以及多目标检测框重叠的影响,识别结果准确性不足;若进一步仅计算单个雷达点到滚筒或传感器的距离,则难以表达护帮板整体侧面的倾斜状态和空间占位,输出结果易受孤立噪声点影响,无法稳定支撑干涉预防决策。

4、因此,亟需提供一种能够利用图像语义约束缩小点云搜索范围、通过无需监督训练的点云处理恢复护帮板侧面形态,并稳定输出护帮板空间位置和姿态的技术方案,以满足综采工作面截割干涉预防的工程应用需求。

技术实现思路

1、针对上述现有技术存在的问题,本发明提供一种图像语义引导与点云面拟合的护帮板位姿检测方法及系统,该方法能解决图像检测缺乏绝对深度、稀疏雷达点云目标语义不足、候选点云中背景干扰较多以及单点距离不能反映护帮板整体空间姿态的问题,能实现护帮板空间位姿的高精度、高鲁棒性检测。该系统能实现护帮板空间位姿的高精度、高鲁棒性检测,在降低点云标注成本的同时确保了输出结果的物理含义明确和工程适配性强,为综采工作面智能感知提供了可靠的系统级解决方案。

2、为了实现上述目的,本发明提供一种图像语义引导与点云面拟合的护帮板位姿检测方法,包括以下步骤:

3、步骤1:构建多源检测单元与多传感器标定;构建包含图像传感器和三维雷达的检测系统,并通过离线或现场标定建立各传感器之间的空间变换关系与统一基准坐标系;

4、步骤2:图像检测与结构化结果获取;利用目标检测模型对包含护帮板的图像帧进行处理,获得包含目标检测区域和时间信息的结构化检测结果;

5、步骤3:点云获取与时间匹配;获取雷达点云,并根据图像检测结果的时间信息从点云帧中选择与之时间匹配的目标点云帧;

6、步骤4:跨模态投影与候选点云提取;基于预先标定的空间变换关系和相机成像参数,将目标点云帧中的点投影到图像平面,从投影位置落入目标检测区域的点中构建候选点云集合;

7、步骤5:候选点云提纯;对候选点云集合依次执行空间范围约束、体素降采样、离群点剔除和空间聚类,并通过多维度综合评分从各点云簇中筛选出护帮板目标点云簇;

8、步骤6:护帮板目标侧面拟合;对护帮板目标点云簇执行稳健平面拟合,获得护帮板目标侧面的平面内点、法向量、中心位置和面内主方向;

9、步骤7:空间位姿与占位输出;将护帮板目标侧面的中心位置和面内主方向转换为目标级位姿检测结果,并根据预设的护帮板几何尺寸构建有向长方体空间占位;

10、步骤8:质量判断与时序滤波;对目标级位姿检测结果执行可信度检查,在满足预设条件时才输出有效位姿,并对连续有效位姿执行时序滤波以抑制测量噪声。

11、作为一种优选,在步骤1中,构建多源检测单元与多传感器标定的过程如下:

12、s11:搭建多源检测单元;基于图像传感器、至少一个三维雷达、数据处理设备和结果接收设备搭建多源检测单元;所述图像传感器为红外热成像相机或可见光相机;

13、s12:坐标约定与传感器标定;雷达坐标系统一约定为右手坐标系,其中x轴朝向设备前方、y轴朝向设备左方、z轴朝向上方;所有传感器的外参、护帮板位置和后续几何模型均在同一基准坐标系下表达;图像传感器与雷达之间通过离线联合标定或现场标定获得刚体变换关系,得到从雷达坐标系到相机坐标系的齐次变换矩阵;图像传感器的焦距,、主点坐标,和畸变参数通过相机标定获得。

14、作为一种优选,在步骤2中,图像检测与结构化结果获取的过程如下:

15、s21:图像获取与预处理;通过图像传感器连续采集并输出包含护帮板的图像帧,利用数据处理设备对图像帧执行尺寸调整、通道适配和归一化处理,并将处理后的图像输入护帮板目标检测模型;所述图像帧为红外热成像图像、可见光图像或二者的组合;所述目标检测模型为基于卷积神经网络或视觉transformer的目标检测模型;

16、s22:目标检测结果输出;对于每个护帮板目标,目标检测模型输出的图像检测结果至少包括目标检测区域和时间信息;所述目标检测区域为二维边界框、实例分割掩膜或由二者确定的语义区域。

17、作为一种优选,在步骤3中,点云获取与时间匹配的过程如下:

18、s31:雷达点云获取与缓存;通过三维雷达连续采集并输出点云帧,每个点至少包含三维坐标;利用数据处理设备建立点云帧缓存,并保存各点云帧的传感器时间戳或系统接收时间;

19、s32:时间同步匹配;当图像传感器和三维雷达不具有统一硬件时钟时,采用数据到达同一数据处理设备时的系统接收时间作为公共时间轴;分别记录图像检测结果和雷达点云到达数据处理设备时的系统接收时间,设图像检测结果到达时间为,缓存中第帧点云的时间为,则从缓存的多个雷达点云帧中选择满足的点云帧作为目标点云帧;若最小时间差大于预设的最大允许时间差,则本次不继续进行位姿解算,并输出数据不同步状态。

20、作为一种优选,在步骤4中,跨模态投影与候选点云提取的过程如下:

21、s41:雷达点云投影;对于雷达坐标系中的任一点,利用齐次外参矩阵计算相机坐标系中的对应点;根据相机内参和针孔成像模型计算像素坐标:,;

22、s42:候选点筛选;仅保留深度、像素坐标位于有效图像范围内、像素位置落入当前护帮板目标检测区域内部的雷达点;若像素坐标位于当前护帮板检测框或实例分割掩膜内部,则将该雷达点加入该护帮板的候选点云集合;在构建候选点云集合时,先将检测框中心保持不变,将宽度和高度按预设比例向内收缩,优先从收缩后的核心区域取点;当收缩区域内候选点数量低于第一数量阈值时,对目标检测区域进行不超过预设范围的逐级扩张,直至候选点数量达到第一数量阈值或达到最大扩张比例;对于多目标场景,分别针对每个目标检测区域建立独立的候选点云集合;当同一雷达点的投影位置同时落入多个相邻目标检测区域时,计算该投影位置到各检测区域中心的归一化距离,并结合目标置信度和历史空间位置确定该雷达点的唯一目标归属,避免同一个雷达点同时参与多个护帮板的平面拟合。

23、作为一种优选,在步骤5中,候选点云提纯的过程如下:

24、s51:空间范围过滤;依据传感器安装位置和护帮板作业范围,对候选点的x、y、z坐标分别设置有效范围,排除明显不合理的点;

25、s52:体素降采样;将三维空间划分为体素网格,在每个体素中保留质心或代表点,以降低重复点对后续聚类的权重偏差,同时减少点云数据量以提高后续处理效率;

26、s53:离群点剔除;采用统计离群点滤波方法,根据邻域平均距离剔除偏离整体分布的点;或者采用半径离群点滤波方法,剔除给定半径内邻居数量不足的孤立点;

27、s54:空间聚类;采用dbscan聚类、欧氏聚类或区域生长聚类方法,将剩余点划分为一个或多个空间连续点云簇;

28、s55:主簇选择;基于点云簇点数、空间跨度、平面性指标、投影覆盖位置、与目标检测区域中心的投影距离、与历史目标位置的空间距离和护帮板预期尺寸的相符程度中的至少两项对各空间连续点云簇计算综合评分,其中表示归一化点数,表示平面性或投影一致性,表示历史位置一致性,表示投影中心距离,表示尺寸或拟合残差,至分别为对应项的可配置权重;

29、选取综合评分满足预设条件的点云簇作为护帮板目标点云簇。

30、作为一种优选,在步骤6中,护帮板目标侧面拟合的过程如下:

31、s61:稳健平面拟合;采用ransac平面拟合方法,从护帮板目标点云簇中随机抽取至少三个不共线点建立候选平面,候选平面表示为:,其中法向量满足;将点到候选平面的垂直距离 不大于预设平面距离阈值的点确定为内点,根据内点数量、内点比例和拟合残差选择最优目标侧面平面;若存在多个平面候选,结合内点数量、平面残差、法向与预期护帮板朝向的一致性、平面中心在检测区域中的投影位置及预设护帮板尺寸进行评分,选择实际被观测且与目标语义相符的侧面;

32、s62:中心位置与主方向计算;将ransac得到的目标侧面平面内点集合记为,采用算术质心、坐标中位数或截尾均值计算稳健中心作为护帮板目标侧面的中心位置;以为原点对去中心化后的平面内点构造协方差矩阵,对进行特征值分解;将协方差矩阵最小特征值对应的特征向量作为平面法向,将另外两个相互正交的特征向量e和作为平面内主方向;根据雷达位置、相机视线方向、护帮板机械朝向、铰接方向或历史法向中的至少一项统一法向量符号;

33、s63:面内主方向语义一致性处理;当护帮板两个面内尺寸差异明显时,将点云跨度较大的主方向与较长尺寸对应;当两个面内尺寸接近、当前帧点云过于稀疏、或两个面内方向的特征值差异不显著,无法通过特征值稳定区分主次方向时,利用护帮板长度与宽度的先验关系、机械铰接方向或前一时刻姿态确定两个面内主方向的对应关系,保持、的语义一致性。

34、作为一种优选,在步骤7中,空间位姿与占位输出的过程如下:

35、s71:姿态输出;将护帮板目标侧面的中心位置作为护帮板的空间位置,输出其在预设基准坐标系中的三维坐标;将法向量和两个面内主方向,构造为护帮板旋转矩阵,并根据护帮板旋转矩阵输出护帮板的姿态表达;所述姿态表达包括欧拉角、四元数或旋转矩阵中的至少一种;基于空间位置和姿态表达共同构成目标级位姿检测结果;

36、s72:空间占位构建;从配置文件或设备参数中读取预先配置的护帮板长度、宽度和厚度,基于中心位置、面内主方向和及法向量建立护帮板有向长方体空间占位;当雷达仅观测到护帮板侧面的局部区域,点云中心偏向可见部分时,根据平面内点在、方向上的稳健分位数、已知边界、铰接轴位置或目标历史轨迹修正实体中心。

37、作为一种优选,在步骤8中,质量判断与时序滤波的过程如下:

38、s81:结果质量检查;基于预设质量指标对目标级位姿检测结果执行可信度检查,所述预设质量指标包括候选点数量、提纯后点数量、ransac内点比例、平面均方残差、点云在两个面内方向上的跨度、图像帧与点云帧的时间差和法向变化角中的至少两项;在所有预设质量指标均满足各自的预设阈值条件时,判定可信度满足预设条件,输出有效位姿;当可信度不满足预设条件时,输出结果未知状态而不输出有效位姿,并根据具体不达标的指标类型输出状态标识;

39、s82:时序滤波;将连续有效位姿输入时序滤波器,以抑制雷达点云稀疏、局部遮挡或目标检测框抖动引起的位姿突变;所述时序滤波器为滑动平均滤波器、指数滤波器、卡尔曼滤波器或基于目标运动模型的滤波器;对于法向量和四元数,在统一符号后再执行方向插值,避免因向量正负等价引起数值跳变。

40、本发明提供了一种从二维图像语义区域到三维护帮板目标点云簇,再到目标侧面几何模型和空间位姿的完整检测方法,与现有技术相比,本发明具有以下有益效果:

41、1、本发明采用图像语义引导与三维几何恢复相结合的技术路线。图像检测模型负责确定护帮板在图像平面中的语义区域,雷达点云经标定关系投影到图像平面后利用所述语义区域筛选候选点,候选点通过确定性滤波和无监督聚类进行提纯,提纯后的目标点云簇通过稳健平面拟合和主成分分析恢复护帮板目标侧面的中心位置、法向量和面内主方向,从而获得护帮板在统一坐标系下的空间位置与姿态。图像负责识别护帮板并提供目标区域,雷达点云负责提供真实三维坐标,避免单一传感器同时承担识别与测距造成的能力短板,实现了图像语义与点云尺度的互补。

42、2、本发明通过图像检测区域引导的跨模态投影和候选点筛选机制,将雷达点云投影到图像平面后仅保留落入目标语义区域的点,并通过先收缩核心区域、候选点数量不足时再逐级扩张的自适应策略,在背景抑制与稀疏点云可用性之间取得平衡。对于多目标场景,通过归一化距离、目标置信度和历史空间位置确定雷达点的唯一目标归属,避免同一个雷达点同时参与多个护帮板的平面拟合,降低了相邻液压支架之间的目标混淆。

43、3、本发明通过空间范围过滤、体素降采样、统计离群点剔除和空间聚类构成的确定性提纯流程,以及基于点数、空间跨度、平面性、投影一致性和历史位置一致性的综合评分机制选择护帮板目标点云簇,有效降低了背景结构及孤立点对位姿结果的影响,提高了稀疏噪声点云下的位姿检测稳定性。

44、4、本发明通过ransac稳健平面拟合和主成分分析恢复护帮板目标侧面的空间位姿,并结合预设的护帮板几何尺寸构建有向长方体空间占位,使输出结果具有明确的物理含义--包括护帮板目标侧面的中心位置、法向量、面内主方向及完整的空间占位,便于用于设备监测、距离解算和安全预警。在面内主方向提取过程中,通过利用护帮板尺寸先验、机械铰接方向或历史姿态进行语义一致性处理,确保了输出姿态的连续性和稳定性。

45、5、本发明的候选点云提纯、聚类、平面拟合和主方向估计全部采用确定性算法或无监督算法实现,无需对雷达点云进行逐点标注训练,降低了三维数据标注和训练成本。系统可在完成目标检测模型训练和传感器标定后直接进行工程参数调试,相机内参、传感器外参、护帮板尺寸、点云滤波参数和质量阈值均可配置,在传感器位置或设备型号调整后无需改变核心处理流程,工程适配性强。

46、6、本发明通过时间同步匹配和数据不同步状态输出,有效防止目标运动时将旧检测框与新点云错误组合。通过融合候选点数量、提纯后点数量、内点比例、平面均方残差、点云空间跨度、图像帧与点云帧的时间差和法向变化角的多维可信度检查机制,能够区分“目标距离较大”与“当前无法可靠计算”两种状态,在可信度不满足条件时输出具体状态标识而不输出无效位姿,避免了因传感器噪声、遮挡或雷达点云过于稀疏导致的错误位姿输出。对连续有效位姿通过时序滤波进行平滑处理,进一步提高了检测结果的稳定性。

47、7、本发明在获得护帮板空间位姿的基础上,可选地结合采煤机滚筒有限圆柱体模型计算护帮板与滚筒之间的最小空间距离,并根据多级距离阈值和连续帧距离变化趋势输出截割干涉风险信息,为采煤机截割干涉预防提供了从感知到决策的完整技术链路。

48、该方法能解决图像检测缺乏绝对深度、稀疏雷达点云目标语义不足、候选点云中背景干扰较多以及单点距离不能反映护帮板整体空间姿态的问题,实现了护帮板空间位姿的高精度、高鲁棒性检测,为综采工作面护帮板状态感知、采煤机截割干涉预防和设备安全距离监测提供了可靠的感知基础,适用于采煤机截割干涉预防和液压支架状态感知。

49、本发明还提供了一种图像语义引导与点云面拟合的护帮板位姿检测系统,用于实现一种图像语义引导与点云面拟合的护帮板位姿检测方法,包括:

50、多源检测单元,包括图像传感器和三维雷达,用于同步采集并输出包含护帮板的图像帧和雷达点云帧;

51、系统标定模块,用于通过离线或现场标定建立图像传感器与三维雷达之间的空间变换关系,并确定统一基准坐标系;

52、图像检测模块,用于利用目标检测模型对包含护帮板的图像帧进行处理,获得包含目标检测区域和时间信息的结构化检测结果;

53、点云获取与时间匹配模块,用于获取雷达点云,并根据图像检测结果的时间信息从缓存的点云帧中选择与之时间匹配的目标点云帧;

54、跨模态投影模块,用于基于预先标定的空间变换关系和相机成像参数,将目标点云帧中的点投影到图像平面,从投影位置落入目标检测区域的点中构建候选点云集合;

55、点云提纯模块,用于对候选点云集合依次执行空间范围约束、体素降采样、离群点剔除和空间聚类,并根据点云簇的空间连续性和投影一致性选择护帮板目标点云簇;

56、平面拟合与姿态解算模块,用于对护帮板目标点云簇执行稳健平面拟合,获得护帮板目标侧面的平面内点、法向量、中心位置和面内主方向,并输出护帮板的空间位置和姿态;

57、空间占位构建模块,用于根据预设的护帮板长度、宽度和厚度,基于中心位置、面内主方向和法向量建立护帮板有向长方体空间占位;

58、质量判断与时序滤波模块,用于对目标级位姿检测结果执行可信度检查,在可信度满足预设条件时才输出有效位姿,并对连续有效位姿执行时序滤波以抑制测量噪声;

59、结果输出模块,用于汇总并输出目标级位姿检测结果、可信度状态标识、护帮板有向长方体空间占位,并将结果发送至显示、控制或预警模块。

60、本发明中,基于多源检测单元的设置,能便于同步采集图像帧与雷达点云帧,构建了视觉语义信息与三维空间信息互补的双模态感知硬件基础。其中,图像传感器能提供护帮板的二维语义区域,三维雷达能提供真实的三维空间坐标,避免了单一传感器同时承担识别与测距造成的能力短板。基于系统标定模块的设置,能为跨模态数据融合提供了精确的空间变换数学基础,确保雷达点云能够准确投影至图像平面。基于图像检测模块的设置,能将护帮板在图像平面中的位置信息转化为可量化的语义区域,为后续跨模态投影提供可靠的二维空间约束,并通过目标跟踪编号维持连续帧间的目标对应关系,支持多护帮板并行处理。基于点云获取与时间匹配模块的设置,能在时间差超过预设阈值时输出数据不同步状态,有效防止目标运动时将旧检测框与新点云错误组合,保证了跨模态数据融合的时间一致性。基于跨模态投影模块的设置,能通过先收缩核心区域、候选点数量不足时再逐级扩张的自适应策略,在背景抑制与稀疏点云可用性之间取得平衡,并通过归一化距离、目标置信度和历史空间位置确定雷达点的唯一目标归属,降低了多目标场景下的目标混淆。基于点云提纯模块的设置,能确保整个提纯流程采用确定性算法和无监督算法,无需对雷达点云进行逐点标注训练,有效降低了背景结构及孤立点对后续位姿解算的影响。基于平面拟合与姿态解算模块的设置,能便于输出的位姿结果具有明确的物理含义,便于用于设备监测、距离解算和安全预警。基于空间占位构建模块的设置,能够根据稳健分位数、已知边界或历史轨迹修正实体中心,提高了空间占位模型在部分观测条件下的准确性。基于质量判断与时序滤波模块的设置,能基于可信度是否满足条件来输出有效位姿及具体状态标识,同时,有效抑制了雷达点云稀疏、局部遮挡或目标检测框抖动引起的位姿突变,进一步提高了检测结果的稳定性和可靠性。基于结果输出模块的设置,能为综采工作面护帮板状态感知、采煤机截割干涉预防和设备安全距离监测提供了完整、可靠的感知数据输出接口。

61、该系统实现了护帮板空间位姿的高精度、高鲁棒性检测,在降低点云标注成本的同时确保了输出结果的物理含义明确和工程适配性强,为综采工作面智能感知提供了可靠的系统级解决方案。