一种煤矿风井巡检机器人与运动控制方法、风井筒的三维重建方法、裂缝语义分割方法

本发明涉及机器人巡检、运动与图像处理技术，属于煤矿风井筒领域，具体涉及一种煤矿风井巡检机器人与运动控制方法、风井筒的三维重建方法、裂缝语义分割方法。

背景技术：

1、煤矿开采环境恶劣，风井作为排出粉尘、瓦斯等有毒有害、易燃易爆气体的“咽喉”要道，其结构完整性是矿井安全的生命线；然而，井壁在跨越复杂地层长期服役中，不可避免地会产生裂缝、剥落等缺陷，这些隐蔽性问题具有突发性，极易演化为井筒歪斜、变形，甚至引发断裂突水、坍塌等重大恶性事故，严重破坏矿井通风系统。

2、传统人工巡检方式存在效率低、风险高、误判漏检率高等无法克服的弊端，而现有巡检机器人100又普遍存在检测精度不理想的瓶颈，具体的，传统巡检机器人100有负压式与轨道式，负压式巡检机器人100是利用负压吸附的方式紧贴在风井筒200内壁上，通过巡检机器人100两侧的履带11进行移动，存在的问题是：1、吸附力受风井筒200壁面的平整度、粗糙度、洁净度等状态影响大，尤其是风井筒200内壁往往存有粉尘、冷凝水、微小障碍物等而容易造成该巡检机器人100吸附力降低甚至失效，实际使用过程中，该类机器人存在移动速度慢、越障能力弱、适用环境差等问题；2、轨道式巡检机器人100虽然能够稳定移动，但是在风井筒200内壁需事先铺设一定的轨道，不仅工程量较大，而受轨道位置的限制，该类巡检机器人100无法灵活移动至指定位置，易产生巡检盲区，存在漏检或者特殊位置无法巡检的问题；3、巡检机器人100巡检过程中，由相机、雷达、红外线等组成感应部件往往随巡检机器人100移动而姿态发生变化，造成获取的数据精度下降，无法适用于风井筒200内壁裂缝等精确指向的专项检测，并且采集数据常伴有振动畸变，导致构建的三维模型精度不足；4、在巡检机器人100运动控制中，巡检机器人100的运动无法做到履带11移动、牵引等相互精确协同，导致巡检机器人100在差速移动、越障移动中的运动精度差，尤其的，受巡检机器人100自身振动、回风压力等扰动影响，巡检机器人100在移动过程中易出现不稳定甚至脱离墙壁。

技术实现思路

1、本发明目的在于提供一种煤矿风井巡检机器人，能够解决传统负压吸附对风井筒内壁形变与状态要求高的问题，提高巡检机器人的移动速度与环境适用性，不仅实现“零重力攀爬”的效果，巡检机器人能够任意位置的移动，避免出现巡检盲区，而且牵引绳始终竖直、多感部件保持初始一致，大大提高测量数据的精度，适用于风井筒内壁裂缝等精确指向的专项检测。

2、为实现上述目的，本一种煤矿风井巡检机器人，包括：巡检部件，通过两侧设置的履带移动位于风井筒内壁、上端与牵引绳连接；

3、牵引绳一端通过移动补偿部件与提升部件连接进行收放，牵引绳上设有用于获取牵引力与偏移角度的传感部件；巡检部件上设有至少一个正压风洞，正压风洞配置为用于产生风量使得巡检部件正压贴设在风井筒内壁；

4、移动补偿部件，配置为用于带动牵引绳在风井筒内壁周向移动；

5、多感部件，通过支板组件转动安装在巡检部件上，该转动包括相对巡检部件周向转动、俯仰转动；多感部件配置为用于获取巡检部件的运动数据与所在环境图像数据；

6、运动控制单元，具有：

7、零重力攀爬模块，配置为用于动态调节提升部件的牵引力以抵消总扰动对巡检机器人贴壁正压力的影响；

8、越障模块，配置为用于控制巡检部件两侧履带的转速量以进行差速移动避开风井筒内壁的障碍物；

9、运动控制单元接收传感部件、多感部件的数据后，控制巡检部件、提升部件的动作，以及正压风洞的正压力大小、支板组件的转动、移动补偿部件的移动，在运动控制单元控制下，连接在巡检部件处的牵引绳始终竖直，多感部件所在位置相对风井筒的轴向保持一致。

10、在本发明的一些示例中，所述支板组件具有第一支板和第二支板；

11、第一支板通过回转电机驱动周向转动安装在巡检部件上，第二支板通过俯仰电机驱动俯仰转动安装在第一支板上；

12、运动控制单元能够控制第一支板、第二支板的正反转动角度。

13、在本发明的一些示例中，所述传感部件具有用于获取牵引绳拉力的拉力传感器、以及牵引绳偏移角度的角度传感器；

14、所述多感部件具有用于获取图像的摄像件、用于获取点云帧与深度的激光雷达、用于获取角速度与加速度的惯性传感器、用于为风井筒内部提供光源的补光件。

15、一种煤矿风井巡检机器人的运动控制方法，具体包括以下步骤：

16、s1，提升部件通过牵引绳将巡检机器人下放至风井筒内合适位置，正压风洞启动，产生风量使得巡检部件正压贴设在风井筒内壁上；

17、巡检部件两侧的履带在风井筒内壁上进行移动；

18、多感部件配置实时获取巡检部件所在环境图像数据与运动数据，并将数据输入至运动控制单元中；

19、s2，零重力攀爬模块获取牵引绳的拉力和巡检部件的运动数据，利用扩张状态观测器将风压变化、牵引绳摆动、履带摩擦波动作为总扰动进行实时估计；根据估计的总扰动，动态调节伺服提升机构的牵引力，以抵消总扰动对巡检机器人贴壁正压力的影响；

20、s3，越障模块获取图像、运动数据，构建风井筒局部环境地图，当巡检机器人前方遇到障碍物时，将环境地图与巡检机器人的运动数据输入越障模块中的td3模型，输出两侧履带电机的转速控制量；

21、s4，在移动过程中，巡检机器人姿态发生变化时，运动控制单元控制支板组件转动，使得多感部件所在位置相对风井筒的轴向保持一致；

22、巡检机器人位置发生变化时，传感部件检测牵引绳的倾斜角度变化、多感部件获取巡检机器人的周向位移量，运动控制单元控制移动补偿部件移动，使得牵引绳始终保持垂直状态，周向补偿距离的计算公式为：

23、

24、其中，为巡检机器人相对于起始点的周向位移量；

25、为巡检机器人当前的悬挂深度；

26、为牵引绳当前的倾斜角度。

27、在本发明的一些示例中，所述零重力攀爬模块具体包括以下步骤：

28、s2-1，建立巡检机器人的攀爬动力学模型；

29、s2-2，将步骤s2-1中动力学方程的二阶系统转化为两个一阶系统；

30、s2-3，构建三阶扩张状态观测器；

31、s2-4，设置控制律，其计算公式为：

32、

33、其中，为增益，为巡检机器人的质量；

34、本场景下为已经动态部分，简化为；

35、为扩张状态观测器对总扰动的实时估计值；

36、为误差反馈控制项，采用简单的pd控制获取：

37、

38、其中，、为控制牵引绳拉力参数用比例和微分增益；、相应为位置误差和速度误差；

39、因此控制律的计算公式为：

40、

41、s2-5，将计算出的牵引力指令发送给提升部件的电机驱动器中，动态调整电机输出扭矩，从而精确控制牵引绳的牵引力；

42、当牵引力改变巡检机器人的位置与速度后，多感部件实时测量获得新数据，继续通过控制律的计算公式计算出新的牵引力指令，依次循环，完成机器人“零重力”攀爬和正压力下的稳定贴壁。

43、在本发明的一些示例中，所述越障模块具体包括以下步骤：

44、s3-1，构建风井筒局部环境地图；

45、s3-2，根据环境地图构建td3模型；

46、定义巡检机器人的状态向量：

47、

48、其中，为目标点在巡检机器人局部坐标系中的位置；

49、为巡检机器人当前的线速度和角速度；

50、为巡检机器人当前朝向与目标点方向之间的角度误差；

51、为从局部环境地图中提取的障碍物信息；

52、定义巡检机器人的动作向量：

53、

54、其中：为施加给左履带电机的目标转速；为施加给右履带电机的目标转速；

55、定义奖励：

56、

57、其中：为前进奖励，鼓励巡检机器人向目标靠近；

58、为碰撞惩罚，当多感部件检测到即将或已经发生碰撞时，给予一个大的负值；

59、为轨迹误差惩罚，与巡检机器人偏离预定路径的程度成正比；

60、为平滑度惩罚，与控制指令的变化幅度成正比，鼓励巡检机器人平稳行驶；

61、为各项奖励/惩罚的权重系数；

62、s3-3，采用td3算法训练模型

63、td3算法包含一个actor网络和两个critic网络；其中，actor网络：输入状态，输出确定性的动作，其参数为；

64、critic网络和：输入状态和动作，输出该状态-动作对的q值，具有两个独立的目标网络和；

65、首先，将actor网络与环境交互，收集转移数据并存入经验回放池；

66、其中，为采取动作后转移到的下一个状态；

67、再次，更新critic网络：从经验回放池中抽取批量的经验数据作为训练样本，通过critic网络计算目标q值，其计算公式为：

68、

69、其中，为即时奖励；是折扣因子；

70、为critic网络对下一时刻状态与下一时刻动作的评估；

71、是目标actor网络；为根据下一时刻的状态预测下一时刻动作；为该目标网络的参数；

72、其中，actor网络中，采用以下最小化损失函数来更新和；

73、

74、为一次训练中，从经验回放池里抽取了多少条过往的经验样本；

75、为通过critic网络计算第个样本对应的目标q值；

76、为当前的critic网络估算第个样本对应的预测q值，为第个样本的状态，为第个样本的动作；

77、然后，更新actor网络，使用采样出数据，通过梯度上升法更新actor网络，使其输出的动作能获得更大的q值：

78、

79、其中，为目标函数对策略参数的梯度；

80、为表示对批次中抽取的个样本计算出的梯度取平均值；

81、为actor网络对参数的梯度，为对参数求偏导数；

82、为critic网络给出q值对动作的梯度；为对动作求偏导数；

83、缓慢地将主网络的参数更新到目标网络中，增加训练的稳定性，其变化公式为：

84、

85、

86、其中，为一个更新系数；

87、重复上述步骤，直至达到预定训练步数或达到收敛标准完成训练，获得训练后td3模型；

88、s3-4，将实时获取的状态向量，输入至训练后td3模型中的actor网络，输出最优的动作向量；

89、将最优动作向量指令发送至巡检部件的履带驱动电机以进行差速攀爬。

90、在本发明的一些示例中，所述运动控制单元还包括调节模块，配置为用于在越过障碍物时对支板组件进行俯仰角度补偿并动态调控正压；

91、所述调节模块具体包括以下步骤：

92、当巡检机器人攀爬过程中预越过障碍物时，多感部件获得巡检机器人越障的姿态变化；

93、当检测到俯仰角超出稳定阈值时，调节模块调整正压风洞的正压风量，当检测到俯仰角位于稳定阈值时，调节模块维持正压风洞的正压风量；

94、同时，调节模块控制支板组件进行俯仰角反向转动。

95、在本发明的一些示例中，所述正压风洞为三个，均匀并排布置在巡检机器人的前部、中部、后部；

96、当检测到俯仰角超出稳定阈值时，运动控制单元根据扩张状态观测器提供的姿态角速度信息，控制前部正压风洞的正压增量，其计算公式为：

97、

98、其中，、为控制正压风洞推力参数用比例和微分增益；为巡检机器人前部抬头时俯仰角，；为扩张状态观测器估计的单位质量总扰动加速度；

99、运动控制单元控制后部正压风洞的正压风量，其计算公式为：

100、

101、其中，为后部正压风洞的基准平衡推力；

102、为力矩分配系数；

103、运动控制单元控制中间正压风洞的正压风量，其计算公式为：

104、

105、其中，为横滚角；

106、为中部正压风洞的基准推力或静态设定值；

107、为横滚控制增益。

108、一种风井筒的三维重建方法，在巡检部件正压贴设在风井筒、多感部件相对风井筒的轴向保持一致的作用下，包括以下步骤：

109、步骤a，获取多感部件测量数据，包括摄像件获取的图像帧、激光雷达的点云帧、惯性传感器的角速度和加速度，下标表示时间戳；

110、采用硬件触发或软件插值算法，确保所有数据在时间上的同步；

111、步骤b，利用惯性传感器数据对机器人运动引起的振动畸变进行在线补偿；

112、首先，在两个激光雷达点云帧时间点和之间，对惯性传感器数据进行高速积分，以获得该时间段内任意时刻的巡检机器人的位姿增量；

113、再次，对于点云帧中的每一个点，其对应的时间戳为，利用预积分得到的位姿增量，将该点从其采集时刻的局部坐标系变换到该帧结束时刻的参考坐标系下，去畸变后的点坐标的计算公式为：

114、

115、其中，是畸变点；

116、为从采样时刻到帧结束时刻的坐标系旋转变换矩阵；

117、为从采样时刻到帧结束时刻的巡检机器人的位置平移增量；

118、通过遍历并计算该点云帧内所有采样点去畸变后的结果，将其汇总为点云集合，最终输出经过振动补偿的、无畸变的激光雷达点云帧；

119、步骤c，建立融合多源数据的神经场统一表征模型；

120、步骤c-1，建立nerf模型，学习一个从三维空间坐标和观察方向到颜色和体密度的连续函数，计算公式为：

121、

122、其中：x是风井筒三维空间中的一个点的坐标；

123、为观察该点的方向；为该点的颜色；为该点的体密度；

124、为一个由权重参数定义的mlp模型；

125、步骤c-2，融合多源数据进行模型训练；

126、摄像件获得图像中的一个像素，从摄像件光心发出一条射线，为光线行进的距离参数，沿这条射线采样个点，将每个点的坐标和方向输入mlp模型中得到颜色和密度，然后通过体积渲染积分计算出该像素的预测颜色，计算公式为：

127、

128、其中：为相邻采样点的距离；

129、为累积透射率，表示光线到达第个点时未被遮挡的概率；为第个点的颜色；为该第个点的体密度；

130、模型的训练通过最小化一个多任务损失函数来实现：

131、

132、其中，、为权重系数；

133、为光度损失，计算公式为：

134、

135、其中，是一批射线集合，为射线数量，为真实颜色；

136、为激光雷达的损失，利用步骤b补偿的、无畸变的激光雷达点云帧作为几何监督；对于每个激光雷达的点云帧中的每一个有效点，可以计算其渲染深度与真实深度的差异；

137、

138、其中，为当前帧激光雷达点云帧中有效点的数量，为射线与场景交点的渲染深度，为激光雷达测量的真实深度；

139、步骤d，基于所述统一表征模型，生成风井筒壁的毫米级精度三维模型；

140、训练完成后，nerf模型就隐式地存储整个风井筒的三维信息；

141、最后输出一个高保真、高精度的风井筒壁三角网格模型。

142、一种风井筒内细微裂缝语义分割方法，在巡检部件正压贴设在风井筒、多感部件相对风井筒的轴向保持一致的作用下，包括以下步骤：

143、步骤a，对输入图形进行多结构特征编码；

144、通过多感部件获取大量风井筒内壁图像，并对图像进行标注，生成三部分标签：真实的裂缝区域掩码、真实的裂缝中心线掩码、真实的裂缝关键点热力图，将该图像作为输入；

145、采用多种异构的图像处理算子将结果融合，以从不同角度捕获裂缝的形态特性，获得多结构特征，计算公式为：

146、

147、其中：表示沿通道维度进行拼接操作；

148、为对输入图像应用sobel算子后得到的边缘特征图；为应用霍夫变换后得到的对线状结构敏感的特征图；为应用高斯滤波后得到的平滑特征图，用于抑制噪声；为应用均值滤波后得到的特征图；为应用正则化滤波后的特征图；为通过高通滤波器提取的高频特征图，突出细节；为其他结构算子；

149、步骤b，对编码后的特征进行多尺度注意力融合；

150、将多结构特征图输入到一个标准的编码器-解码器网络的编码器端；在解码器的上采样过程中，引入通道注意力机制；在跳跃连接处，将来自编码器对应层级的浅层特征与来自解码器深层语义特征沿通道维度拼接；

151、再多尺度特征融合：对低分辨率特征进行上采样，与高分辨率特征拼接，获得拼接后的特征图；

152、然后注意力加权：对拼接后的特征图应用通道注意力模块，该模块学习一个权重向量，每个权重代表对应通道的重要性，其中为拼接后的通道数；

153、融合后的特征图的计算公式为：

154、

155、其中，为将来自解码器上采样的深层语义特征与来自编码器的浅层多结构特征在通道维度上进行拼接；

156、为注意力模块生成的权重系数图，为逐元素相乘；

157、输出经过注意力增强和融合后的特征图；

158、步骤c，采用多级联合损失函数对多结构特征融合的裂缝分割模型进行训练；

159、将三个预测图作为模型的输出，其包括：预测的裂缝区域掩码，预测的裂缝中心线掩码，预测的裂缝关键点热力图；

160、多级联合损失函数的公式为：

161、

162、其中：为各项损失的权重系数；

163、为区域损失函数，其计算公式为：

164、

165、为中心线损失函数，用于衡量预测中心线的准确性和连续性，采用二值交叉熵损失进行优化，其计算公式为：

166、

167、为关键点损失函数，其计算公式为：

168、

169、迭代优化网络参数，直到多级联合损失函数收敛，保存最终模型权重文件，获得最终多结构特征融合的裂缝分割模型；

170、步骤d，向最终多结构特征融合的裂缝分割模型中输入实时巡检图像，输出裂缝分割结果；

171、巡检机器人在风井筒内作业时，摄像件实时获取当前井壁的图像，可不标注下直接将图像输入到已训练后的最终多结构特征融合的裂缝分割模型中，输出预测的裂缝掩码图像或热力图；

172、根据输出结果，能够判断裂缝是否超过安全阈值，并生成巡检报告或触发报警。

173、与现有技术相比，本一种煤矿风井巡检机器人具有以下优点：

174、1、巡检部件上的正压风洞能够产生风量使得巡检部件正压贴设在风井筒内壁，能够解决传统负压吸附对风井筒内壁形变与状态要求高的问题，提高巡检机器人的移动速度与环境适用性；

175、2、正压吸附与牵引绳收放牵引、移动补偿部件相互结合，通过传感部件与多感部件的实时数据反馈，能够实时对巡检机器人移动进行调整，不仅利用扩张状态观测器估计总扰动并调节牵引力，实现“零重力攀爬”的效果；

176、3、巡检机器人能够任意位置的移动，避免出现巡检盲区，而且牵引绳始终竖直、多感部件保持初始一致，大大提高测量数据的精度，适用于风井筒内壁裂缝等精确指向的专项检测；

177、本一种煤矿风井巡检机器人的运动控制方法具有以下优点：

178、1、通过传感部件、多感部件相应实时获取牵引拉力与角度、巡检机器人运动与风井筒环境数据，将巡检机器人移动、牵引、检测反馈相互精确协同，有效提高巡检机器人在零重、越障移动中的运动精度，降低出现不稳定甚至脱离墙壁的风险；

179、2、零重力攀爬模块将内外部干扰统一视为“总扰动”，并用扩张状态观测器进行实时估计和补偿，能够针对风井筒攀爬这一具体场景，创造性地构建以“总扰动”为核心的控制模型，解决传统方法在风压变化、牵引绳摆动、履带摩擦波动等强非线性干扰下效果不佳的问题；

180、3、避障模块中通过多感部件构建高精度的输入环境，并结合td3算法进行运动控制，形成感知-规划-控制的闭环智能架构；针对风井筒内风压变化剧烈、壁面摩擦不均的恶劣工况，td3算法中的双q网络机制有效解决传统强化学习中的q值过估计问题，显著提升算法在动态环境下的收敛稳定性与决策鲁棒性，能够在巡检机器人攀爬移动过程中，实时响应姿态偏差与外部扰动，协同调节伺服牵引力与正压力，不仅实现精准的差速运动控制，更能有效抵消风载干扰，保障机器人在复杂风井环境中进行平稳、可靠的零重力爬行与越障作业；

181、4、调节模块中通过越过障碍物时对支板组件进行俯仰角度补偿并动态调控正压，能够保障多感部件所在位置相对风井筒的轴向保持一致的情况下，调整三个正压风洞的正压力实现巡检机器人稳定性的调整，显著提升正压分配系统在复杂风场下的鲁棒性；

182、5、传感部件与多感部件与运功控制单元连接，能够实时进行姿态补偿，多感部件所在位置相对风井筒的轴向保持一致，从而提高测量精度，解决传统机器人多感部件随动导致的数据不准问题。

183、本一种风井筒的三维重建方法，具有以下优点；

184、1、利用imu数据对巡检机器人运动引起的振动畸变进行在线补偿，精确捕捉两个激光点采集时间点之间机器人的微小位姿增量，通过去畸变后的点坐标的计算公式，能够消除因巡检机器人振动、加减速导致的三维几何扭曲，使得输出的点云帧真实反映了风井筒内壁的静态几何特征，融合激光雷达与视觉的nerf模型，确实解决了单一传感器的局限性；

185、2、建立融合多源数据的神经场统一表征模型，能够解决单一传感器建模的局限性，并且兼具高保真纹理与精确几何结构，能在几何层面精确还原裂缝的宽、深走向，为后续的语义分割和缺陷量化提供了毫米级精度的三维数据支撑；

186、3、通过引入基于imu高频数据的点云去畸变技术，从源头上根除机器人振动对重建精度的致命影响；进而利用激光雷达与视觉数据紧耦合的神经场模型，克服风井筒弱纹理、高粉尘环境下的重建难题，该方法实现风井筒环境的高保真纹理映射与毫米级几何精度的完美统一。

187、本一种风井筒内细微裂缝语义分割方法，具有以下优点：

188、1、将图像的“颜色信息”、“边缘强度信息”和“几何结构信息”进行多结构融合，使得模型拥有“多维视角”，赋予在强噪声、低对比度等特殊环境下的风井筒图像中“去伪存真”的能力，大幅提升对微小裂缝、模糊裂缝的检出率；

189、2、通过引入注意力机制，在编码和解码的跳跃连接处对融合特征进行加权，多尺度上下文聚合，解决像素级分割的细碎与不连续问题，实现裂缝形态的高精度语义约束；

190、3、通过多级联合损失函数的协同优化，从区域、中心线、关键点三个维度对分割结果施加全方位的几何约束,突破了单一损失函数的优化瓶颈，有效克服传统方法分割结果细碎、不连续、定位不准的缺陷，实现对风井筒内细微裂缝的高灵敏度检出与高精度语义分割，极大提升煤矿安全检测的可靠性与自动化水平。