一种护孔机器人的炮孔目标识别引导方法及系统与流程

本技术涉及矿山智能作业，更具体地说，是涉及一种护孔机器人的炮孔目标识别引导方法及系统。

背景技术：

1、矿山爆破开采工序中，装药、封堵作业实施前，炮孔孔口极易堆积浮土、碎石，杂物会堵塞炮孔，必须完成孔口清理方可开展后续爆破准备工作。现阶段该清理作业普遍依靠人工进入爆破预备区域操作，而待爆破区域属于高危作业场所，现场落石、边坡垮塌、突发爆破等安全风险突出，人工作业模式存在极高人身安全隐患。

2、为规避人工作业风险，行业逐步推出适配矿山场景的护孔机器人，该类机器人适配矿区凹凸不平的复杂路面，搭载高离地间隙底盘实现自主行走，依靠集成感知设备、配套导航及控制算法完成炮孔自主识别与趋近作业。但现有护孔机器人感知引导方案仍存在明显缺陷：其一，多采用单一高精度激光雷达或高端工业视觉设备完成全距离感知，整套传感硬件采购、部署成本高昂，矿山大批量部署难以实现降本增效；其二，单一传感器感知范围受限，远距离激光雷达点云稀疏识别精度差，近距离相机易超出视场丢失目标，二者感知区间存在盲区，机器人在盲区内容易丢失炮孔目标，无法平稳衔接远距离粗引导与近距离精定位；其三，矿山光照多变、碎石土堆干扰多，现有感知算法缺少多帧数据平滑降噪机制，单次检测波动大，导致机器人频繁修正航向，行进稳定性差，严重影响炮孔对准效率。

3、综上，现有护孔机器人炮孔识别引导方案兼顾成本、环境适应性、多传感器无缝协同的能力不足，难以适配规模化矿山炮孔自主清理作业需求，亟需一种低成本、具备盲区过渡策略、感知数据稳定的炮孔目标识别引导方案。

技术实现思路

1、为解决上述技术问题，本发明提供一种护孔机器人的炮孔目标识别引导方法及系统，为实现炮孔目标识别引导的环境感知与定位，系统配置了平面相机与二维激光雷达作为主要传感器。其中，相机用于获取作业区域的图像信息并进行目标识别，激光雷达用于获取目标距离信息并辅助目标定位。

2、需要说明的是，本技术中两种传感器均安装于机器人车体前部，其安装平面垂直于机器人前进方向并与地面保持垂直。系统运行过程中，相机主要承担前期目标识别与方向引导任务，通过视觉检测结果对移动底盘的运动方向进行实时调整，使炮孔目标始终保持在护孔机器人的正前方。当目标距离进一步减小并超出相机视场范围时，机器人继续保持当前运动方向直线前进，同时启用二维激光雷达进行近距离检测，通过分析雷达扫描数据识别炮孔位置并完成最终姿态调整，从而实现对作业目标的精确定位与引导。

3、本技术提供一种护孔机器人的炮孔目标识别引导方法，包括：

4、步骤一、通过布置在护孔机器人前部的平面相机实时采集前方环境图像，基于深度学习目标检测识别图像内炮孔，解算炮孔相对机器人的方位信息，依据该方位信息实时调整机器人行进姿态；

5、步骤二、持续统计视觉识别的目标丢失次数，若目标丢失次数未达到预设阈值，则维持当前行进方向分段向前行进，持续执行步骤一的视觉引导；若目标丢失次数达到预设阈值，则进入雷达定位过渡流程；

6、步骤三、保持原有前进方向分段逼近目标区域，同时启用同设于机器人前部的二维激光雷达采集环境点云，通过点云数据分析识别地面凹陷对应的炮孔，解算炮孔相对机器人的近距离偏移信息；

7、步骤四、分别对步骤一输出的视觉方位信息、步骤三输出的雷达偏移信息进行滤波平滑处理，根据滤波后的目标位置信息分阶段调整机器人转向与步进距离；

8、步骤五、循环执行步骤一至步骤四，直至机器人到达炮孔预设作业位置。

9、一实施例中，所述步骤一中基于深度学习目标检测识别图像内炮孔，解算炮孔相对机器人的方位信息，依据该方位信息实时调整机器人行进姿态，包括：

10、采用轻量化yolo模型对相机采集的图像进行实时目标检测，筛选置信度最高的目标作为有效炮孔；

11、结合图像像素坐标与相机视场角计算炮孔相对相机光轴的水平偏角，并对连续多帧偏角数据做滤波平滑；

12、根据平滑后的偏角大小，对应执行原地转向校正或固定步长直线行进的控制操作。

13、一实施例中，所述轻量化yolo模型，包括：

14、选取yolo11n轻量化网络作为目标检测主干；

15、采集不同角度、不同距离的矿场炮孔图像构建样本数据集，采用矩形边界框标注数据集中的炮孔目标；

16、将标注后的数据集按固定比例划分为训练集、验证集与测试集；

17、加载通用预训练权重对yolo11n网络进行迁移学习微调，设置固定训练轮次与批次尺寸完成迭代训练；

18、训练收敛后的yolo11n模型部署至机器人，实时处理平面相机采集的图像并输出炮孔边界框与置信度数据。

19、一实施例中，步骤二、持续统计视觉识别的目标丢失次数，包括：

20、实时对每一轮视觉检测结果进行判定，未检出有效炮孔时视觉连续漏检计数累加，检出有效炮孔则将视觉连续漏检计数清零；

21、当视觉连续漏检计数未达到设定阈值时，判定机器人处于平面相机与二维激光雷达之间的感知过渡盲区，保持当前行进方向不变，采用分段步进的方式持续向目标区域逼近，不切换至激光雷达定位模式；

22、当视觉连续漏检计数累计达到设定阈值时，判定炮孔已超出平面相机有效视场范围，系统自动终止视觉主导引导流程，切换进入二维激光雷达近距离定位流程。

23、一实施例中，所述步骤三通过点云数据分析识别地面凹陷对应的炮孔，解算炮孔相对机器人的近距离偏移信息，包括：

24、利用二维激光雷达周期性获取环境扫描点云，筛选地面俯仰区间内有效测距点；基于有效测距点统计构建地面基准高度，对比各扫描点测距与地面基准高度差异识别凹陷区域；

25、当连续多个扫描点满足凹陷判定条件时，确定为炮孔区域，并依据炮孔区域扫描角度计算炮孔中心及横向偏移量。

26、一实施例中，步骤三还包括：

27、机器人每次执行点云检测前停止行进；

28、完成点云识别后，依据识别结果判定是否检出炮孔；

29、未检出炮孔时控制机器人分段步进并累计未检出次数，累计次数达到预设上限则停止机器人行进；检出炮孔后根据炮孔横向偏移信息调整机器人姿态。

30、一实施例中，步骤四、分别对步骤一输出的视觉方位信息、步骤三输出的雷达偏移信息进行滤波平滑处理，包括：

31、分别构建用于存储连续多帧视觉水平偏角、连续多帧雷达横向偏移量的固定长度缓存队列；

32、将实时输出的视觉水平偏角、雷达横向偏移量依次存入对应的缓存队列；

33、分别提取各缓存队列内数据的中位数，将得到的中位数作为对应的目标位置输出数据。

34、一实施例中，所述根据滤波后的目标位置信息分阶段调整机器人转向与步进距离，包括：

35、在视觉引导阶段，若平滑后炮孔水平偏角超过预设角度阈值，执行原地旋转校正姿态；若平滑后炮孔水平偏角小于等于预设角度阈值，控制机器人以第一固定步长直线步进；

36、在雷达定位阶段，基于预设作业基准距离结合反正切函数求解机器人与炮孔夹角偏差，夹角偏差超过所述预设角度阈值时执行原地转向校正，夹角偏差小于等于所述预设角度阈值时，控制机器人以小于第一固定步长的第二固定步长向前分段行进。

37、基于同一发明构思，本技术还提出一种护孔机器人的炮孔目标识别引导系统，所述系统包括：

38、机器人底盘；

39、感知模块，所述感知模块包含平面相机与二维激光雷达，平面相机、二维激光雷达均设于机器人底盘前部，用于分别采集前方环境图像、环境点云数据；

40、视觉处理模块，与平面相机信号连接，配置训练完成的轻量化yolo模型，用于基于图像识别炮孔、解算炮孔相对机器人的方位信息；

41、盲区过渡控制模块，分别与视觉处理模块、感知模块电连接，用于统计视觉识别的目标丢失次数，根据计数阈值切换感知工作模式；

42、雷达点云处理模块，与二维激光雷达信号连接，用于对点云数据解析，识别地面凹陷并解算炮孔近距离偏移信息；

43、滤波处理模块，分别连接视觉处理模块、雷达点云处理模块，用于对视觉方位信息、雷达偏移信息进行中值滤波平滑；

44、运动控制模块，与滤波处理模块、机器人底盘相连，用于依据滤波后的目标位置信息分阶段控制底盘转向、分段步进，循环执行识别引导流程直至机器人抵达炮孔预设作业位置。

45、一实施例中，所述系统，还包括：

46、述系统还包括模型训练部署单元、数据存储单元；

47、所述模型训练部署单元用于构建矿场炮孔图像数据集，完成yolo11n轻量化网络迁移学习训练，并将收敛后的检测模型下发至视觉处理模块；

48、所述数据存储单元内置多组固定长度缓存队列，分别缓存连续多帧视觉水平偏角数据、雷达横向偏移量数据，供滤波处理模块读取完成中值计算。

49、本技术实施例与现有技术相比存在的有益效果是：

50、本技术采用平面相机与二维激光雷达相结合的多传感器方案，实现远近距离目标检测。视觉模块基于yolo11n深度学习模型进行炮孔检测，通过图像边界框计算目标的水平偏角，并引入滑动窗口中值滤波提升检测稳定性；二维激光雷达利用扫描点相对于地面基准高度的分析，实现坑洞的精确定位，并对横向偏移量进行滤波处理，增强系统的鲁棒性，且硬件成本低，降本增效显著。