一种基于多源融合与测地线外推的巷道锚杆识别及钻孔定位方法

本发明涉及一种基于多源融合与测地线外推的巷道锚杆识别及钻孔定位方法，具体涉及多模态传感器下的锚杆空间坐标提取及不规则岩面条件下的新钻孔位姿数值解算方法，属于煤矿智能掘进与支护。

背景技术：

1、煤矿巷道锚杆支护是控制围岩变形的核心手段。在自动化支护作业中，锚杆的间排距及打设角度必须符合安全规程。自动化锚杆钻车在进行新一轮打孔前，须识别上一排已打设锚杆的真实空间位置，并以此为基准精确推演新钻孔的三维靶点与钻进姿态。现有技术中存在以下不足：

2、1.工作面存在高浓度煤尘与水雾，视觉提取算法在粉尘环境下边缘特征提取率下降；激光雷达点云在锚杆托盘区域的曲率变化不明显，依赖单一模态的识别算法坐标输出不稳定。

3、2.钻车移动过程中的位姿解算多依赖轮式里程计或单帧点云配准，由于缺少高频运动补偿，解算结果存在累积误差。

4、3.孔位推算多采用三维空间坐标的直线平移，未结合巷道壁面的起伏特征。在非平整岩面上，直线平移计算的间距与实际贴壁弧长存在物理偏差；且该计算方式无法输出局部岩面的法向量，钻机按预设固定角度推进时存在偏心受压的可能性。

技术实现思路

1、针对现有技术的不足，本发明提供一种基于多源融合与测地线外推的巷道锚杆识别及钻孔定位方法，该方法基于多模态数据处理及数值计算方法，以获得锚杆的空间坐标及符合贴壁弧长约束的钻孔靶点参数。

2、本发明的技术方案如下：

3、一种基于多源融合与测地线外推的巷道锚杆识别及钻孔定位方法，包括以下步骤：

4、1）基于双通道网络的已打锚杆坐标提取

5、利用机器视觉同步采集巷道壁面的rgb图像与三维点云；将输入resnet骨干网络获取二维纹理特征图；将输入pointnet++获取三维几何特征图；

6、将完成空间配准后的二维纹理特征图与三维几何特征图进行拼接，并进行全局平均池化与全局最大池化，通过多层感知机计算模态自适应权重矩阵；模态自适应权重矩阵用于表征rgb纹理信息与点云几何信息在当前工况下的贡献程度；

7、

8、计算融合特征，融合特征依据模态自适应权重矩阵对二维纹理特征与三维几何特征进行加权融合获得，即；网络输出层基于回归，输出传感器坐标系下已打设锚杆的坐标；

9、2）基于误差状态卡尔曼滤波的坐标转换

10、定义钻车底盘状态向量；其中，为钻车底盘在全局坐标系下的位置，为速度，为姿态四元数，为陀螺仪零偏，为加速度计零偏，为重力加速度；误差状态向量由、、、、组成，用于eskf预测与观测更新；

11、采集惯性测量单元的角速度与加速度，代入运动学方程：

12、，，，，，对状态向量及误差状态向量进行预积分计算；

13、其中，为陀螺实测角速度，加速度计实测比力，陀螺角速度高斯白噪声，加计比力高斯白噪声，、零偏随机游走噪声；

14、提取连续两帧lidar点云，采用迭代最近点算法计算相对位姿矩阵，即第k帧lidar坐标系到第k+1帧lidar坐标系的相对位姿矩阵；再依据lidar相对于钻车底盘坐标系的标定外参，将lidar帧间相对位姿转换为钻车底盘帧间相对位姿观测量，作为eskf量测更新输入，以修正钻车底盘状态向量；

15、eskf状态估计模块输出解算后的钻车全局旋转矩阵与平移向量，结合rgb相机、lidar与imu相对于钻车底盘坐标系的标定外参，计算锚杆的全局坐标：

16、

17、其中，和分别表示传感器坐标系到钻车底盘坐标系的外参旋转矩阵和平移向量；

18、3）巷道壁面隐式流形曲面的mls拟合

19、选取包含基准锚杆坐标及前方岩面的点云集合，所述点云集合为步骤2）中经eskf位姿补偿并转换至全局坐标系的lidar局部点云，对离群点进行剔除后，采用移动最小二乘法构建隐式流形曲面；

20、定义待拟合岩面采样点邻域内局部拟合平面的加权正交距离平方和：

21、

22、其中，为局部岩面点云集合中第个采样点，为当前查询点，为拟合平面法向，为原点距离，权函数采用高斯衰减函数，为平滑因子；

23、最小化，得到各点处的曲率与连续偏导数方程，为后续曲面约束下的孔位外推和钻进姿态求解提供几何基础；

24、4）基于四阶龙格-库塔法的孔位外推

25、设定排距基准值为，巷道设计轴线向量为；以提取的最外侧锚杆坐标作为初始点；

26、在隐式流形曲面上，将巷道设计轴线向量投影至初始点处的切平面并归一化，得到初始切向量；以曲面法向约束和单位弧长约束共同定义测地线积分方向，使外推轨迹始终位于巷道壁面曲面上：

27、

28、构建以弧长为积分变量的微分方程，设定积分步长为，采用四阶龙格-库塔法进行迭代：每一步均依据局部曲面法向对切向量进行更新，并累计贴壁弧长。

29、

30、

31、

32、

33、

34、当累加步数时终止循环，将最终的记为靶点坐标；即以累计贴壁弧长达到排距基准值为终止条件；

35、5）钻机姿态向量计算

36、基于曲面函数，计算处的三维空间偏导数，归一化得到姿态向量；其中，当设计钻进方向要求垂直岩面时，以所述单位法向量作为钻杆姿态向量；当设计钻进方向存在预设倾角时，在所述单位法向量基础上按设计倾角进行姿态修正；

37、

38、系统输出控制指令参数矩阵，由钻机执行相应动作。

39、优选的，所述步骤1）中，rgb图像与三维点云由完成时间同步及外参标定的防爆工业相机和固态激光雷达采集；依据相机内参及相机-lidar外参，将lidar点云投影至rgb图像坐标系，建立图像像素区域与三维点邻域之间的空间对应关系。

40、优选的，所述步骤4）中，设定排距基准值为，设定积分步长为。

41、一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述方法中的步骤。

42、一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述方法中的步骤。

43、本发明的技术特点和有益效果：

44、1、本发明通过双模态特征的注意力池化与权重乘加计算，在单一模态传感器输入数据发生畸变时，算法依据权重矩阵的调整维持坐标提取过程的准确性。

45、2、本发明中eskf融合框架利用高频imu数据补偿lidar数据在帧间配准过程中的运动形变，减小了钻车坐标系向全局坐标系映射时的累积漂移。

46、3、本发明采用rk4算法进行测地线数值积分外推孔位，代替三维向量直线加法计算，将孔位间距解算方法约束在岩面几何轮廓上；同时求解该坐标点在曲面方程上的偏导数，为钻机提供法向姿态控制输入。

47、4、通过本发明多模态传感器下的锚杆空间坐标提取及不规则岩面条件下的新钻孔位姿数值解算方法，可准确获得锚杆的空间坐标及符合贴壁弧长约束的钻孔靶点参数。