一种列检机器人自主巡检方法、系统及存储介质与流程

1.本发明涉及巡检机器人技术领域，特别涉及一种列检机器人自主巡检方法、系统及存储介质。


背景技术：

2.城市轨道交通作为一种运量大、速度快、能耗低、污染少、可靠性高的交通工具，是世界各国优先发展的公共交通系统。随着地铁的大量投入和使用，日常检修和维护是必不可少的环节。
3.地铁车辆列检是地铁运行的日常必需工作，特别是对底盘进行较为详细的检查，及时发现安全隐患。地铁巡检工作环境艰苦，目前均为人工检查。将该部分工作用机器替代人工是铁道部门非常迫切的需求。但由于技术难度高，检测专业性强，市场上并没有非常成熟的产品。
4.另外，由于检修人员的能力和综合素质等不同，检修的质量也层次不齐。为了提升检测质量和检测效率，近年来国家对现代轨道修设备及系统用于辅助城市轨道交通列车检修。但城市轨道交通段内检修设备和系统的自动化、信息化、智能化程度较低，整个的城市轨道交通列检流程不能很好的贯穿联系起来，依然需要检修人员来参与大部分的检修过程，而无法实现真正的智能化检修。
5.列检机器人因其具有的快速检修方式、标准化检修和可随时调整检修项等优势将会逐渐替代人工，其中，机器人自主巡检的核心难点为导航定位技术和ai缺陷检测技术。
6.当前坑道内的导航技术方案主要有以下两种：
7.1)在坑道内铺设轨道或增加辅助标志物。其存在的缺陷在于，需要对坑道进行施工、改造，影响正常检修。
8.2)对坑道进行建图。其存在的缺陷在于，由于列车每次停止的位置存在厘米级误差，因此影响缺陷检测识别率。
9.坑道外环境比较相似且路线较长，也存在列车进出导致环境变化的情况，当前坑道外的导航技术方案主要有以下两种：
10.1)在坑道外地面铺设磁条、磁钉、反光板等辅助标志物。其存在的缺陷在于需要施工，检修人员日常维修可能导致辅助标志物脱落、覆盖，影响机器人正常巡检。
11.2)采用激光slam导航。其存在的缺陷在于，由于场景长度大于列车整车长度、环境经常变化，激光的感知距离较短，因此无法稳定地实现建图和导航。
12.缺陷识别可以分为九大类，分别为裂痕检测、防松标记检测、刹车磨损检测、踏面检测、温度检测、继电器测温贴读表、油位读取、表面异常以及缺损检测、表面漏油检测，由于涉及到多传感器协同及数据融合分析，因此现有技术对上述检测全覆盖。


技术实现要素：

13.本发明的目的在于提供一种列检机器人自主巡检方法及系统，旨在实现列车停车
道内狭窄且相似环境下，列车停车道外空旷且相似环境下的自主导航定位。
14.为实现以上目的，本发明提供了一种列检机器人自主巡检方法，包括：
15.分别接收上位机发送的第一巡检指令、第二巡检指令和巡检信息，所述巡检信息至少包括待巡检列车的停车道信息、第一巡检列表、第二巡检列表和列车编组信息；
16.基于所述第一巡检指令，根据所述停车道信息加载对应停车道外的3d地图和第一巡检列表，对所述待巡检列车的两侧进行巡检；
17.基于所述第二巡检指令，加载所述待巡检列车的底盘地图和第二巡检列表，对所述待巡检列车的底盘进行巡检。
18.进一步地，所述基于所述第一巡检指令，根据所述停车道信息加载对应停车道外的3d地图和第一巡检列表，对所述待巡检列车的两侧进行巡检，包括：
19.基于所述列检机器人携带的激光传感器和第一深度相机，分别获取激光数据和感知数据；
20.将所述激光数据和感知数据进行融合，并根据融合结果在所述3d地图上进行定位导航；
21.在导航过程中，执行任务调度算法，控制所述列检机器人携带的工业相机对所述待巡检列车的检测区域进行拍摄，得到待检测图片；
22.采用基于深度学习的视觉检测算法对所述待检测图片进行分析，并将分析结果上传至所述上位机。
23.进一步地，所述基于所述第二巡检指令，加载所述待巡检列车的底盘地图和第二巡检列表，对所述待巡检列车的底盘进行巡检，包括：
24.控制所述列检机器人携带的激光传感器仰角呈45度，并根据所述列检机器人携带的激光传感器和深度相机所采集的数据，在所述底盘地图上实现基于列车底盘的定位和停车道中心巡线导航；
25.在导航过程中，控制所述激光传感器和所述列检机器人携带的工业相机对所述待检列车的待检测区域进行拍摄，分别得到3d激光数据和2d数据；
26.对所述3d激光数据和2d数据进行分析，并将分析结果上传至所述上位机。
27.进一步地，所述控制所述列检机器人携带的激光传感器仰角呈45度，并根据所述列检机器人携带的激光传感器和深度相机所采集的数据，在所述底盘地图上实现基于列车底盘的定位和停车道中心巡线导航，包括：
28.控制所述列检机器人携带的激光传感器和第一深度相机仰角呈45度，并通过所述激光传感器和所述第一深度相机采集待检列车底盘数据；
29.将采集到的底盘数据进行融合，实现列车底盘定位；
30.采用所述列检机器人携带的第二深度相机和第三深度相机对所述停车道两侧的墙面进行提取，获取停车道中心线位置，实现停车道中心巡线导航，所述第二深度相机和所述第三深度相机分别为前置、后置水平深度相机。
31.进一步地，所述在导航过程中，控制所述列检机器人携带的相机对所述待检列车的待检测区域进行拍摄的过程包括：
32.获取某一巡检点点位拍摄图像的机械臂控制位姿(x1,y1,z1,r1,o1,p1)，其中，x1,y1,z1为机械臂末端相对于基座的三维坐标，r1,o1,p1分别机械臂末端相对于基于的旋转、俯
仰和翻滚角；
33.采用定位算法输出三维定位(x2,y2,z2,r2,o2,p2)，该巡检点的坐标为(x3,y3,z3,r3,o3,p3)，计算出机械臂控制拍摄的坐标为(x1 x2‑
x3，y1 y2‑
y3，z1 z2‑
z3,r1 r2‑
r3,o1 o2‑
o3,p1 p2‑
p3)，x2,y2,z2分别表示自主巡检过程中机器人在列车底盘地图中的三维坐标，r2,o2,p2分别为自主巡检过程中机器人在列车底盘地图中的旋转、俯仰和翻滚角，x3,y3,z3分别表示示教时机器人在列车底盘地图中的三维坐标，r3,o3,p3分别为示教时机器人在列车底盘地图中的旋转、俯仰和翻滚角；
34.控制所述工业相机按照机械臂控制拍摄的坐标进行拍摄。
35.进一步地，在所述导航过程中，控制所述激光传感器对所述待检列车的待检测区域进行拍摄的过程包括：
36.根据所述待检测区域的位置，控制所述列检机器人的机械臂移动至检测预备点，所述检测预备点为事先示教的四个点，对应所述列检机器人顶部四个象限；
37.根据所述待检测区域的位置，计算检测起始点和检测结束点；
38.控制所述激光传感器在所述检测起始点开启线扫激光，水平移动至检测结束点后，结束线扫。
39.进一步地，所述对所述3d激光数据和2d数据进行分析，包括裂纹检测、防松标记检测、刹车磨损检测、踏面检测、温度检测、继电器测温贴读数识别、油位识别、表面异常及缺损检测以及表面漏油检测中的至少一项。
40.进一步地，在所述待检列车巡检结束后，还包括：
41.所述列检机器人自动返回充电房或执行下一列列车的巡检任务。
42.此外，为实现上述目的，本发明还提供了一种列检机器人自主巡检系统，包括：列检机器人和上位机，列检机器人搭载有激光传感器、深度相机、工业相机和控制设备，所述控制设备包括：
43.信息接收模块，用于分别接收上位机发送的第一巡检指令、第二巡检指令和巡检信息，所述巡检信息至少包括待巡检列车的停车道信息、第一巡检列表、第二巡检列表和列车编组信息；
44.第一巡检模块，用于基于所述第一巡检指令，根据所述停车道信息加载对应停车道外的3d地图和第一巡检列表，对所述待巡检列车的两侧进行巡检；
45.第二巡检模块，用于基于所述第二巡检指令，加载所述待巡检列车的底盘地图和第二巡检列表，对所述待巡检列车的底盘进行巡检。
46.此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的列检机器人自主巡检方法。
47.与现有技术相比，本发明存在以下技术效果：本发明中列车驶入检修道后，上位机主控向两台列检机器人发送巡检指令和巡检信息，机器人组根据车道信息载入地图和预设路径后，行驶至列车侧道两边的检测起始点开始对目标列车的日常检修流程；对于列车外部，机器人组在两侧各自不停车检测，基于水平的前置3d激光和深度相机进行定位导航，并控制云台角度使得高清工业相机拍摄待检测区域及实时分析。外侧完成后，机器人组一前一后通过斜坡驶入坑道内并控制3d激光从水平上仰45度，采用列车底盘地图并基于水平上
仰45度的3d激光、水平上仰45度的深度相机和水平的前后深度相机进行定位导航，机器人组以列车底盘中线为分界线进行分工协同运行，在每一个巡检点控制机械臂使得末端的线扫激光和2d高清相机协作对待检测区域数据获取、分析，从而完成列车巡检任务。本发明通过搭建自主导航系统、ai缺陷检测系统、自主巡检系统，融合各类检测、巡检数据，完成感知资源的聚合，结合地铁列车底盘等实际场景应用需求，解决列检机器人在地铁列车底盘的复杂场景下完成相关任务的技术难点，可提高轨道交通巡检内容的可知性和可控性，实现轨道交通列车日常巡检的自动化、智能化、便捷化，解决轨道交通列车巡检劳动强度大、密集度大、准确度低等问题。
附图说明
48.下面结合附图，对本发明的具体实施方式进行详细描述：
49.图1是本发明一种列检机器人自主巡检方法的流程图；
50.图2是本发明激光传感器线扫示意图；
51.图3是本发明机器人组停车道内外协作示意图。
具体实施方式
52.为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
53.如图1所示，本实施例公开了一种列检机器人自主巡检方法，包括如下步骤s1至s3：
54.s1、分别接收上位机发送的第一巡检指令、第二巡检指令和巡检信息，所述巡检信息至少包括待巡检列车的停车道信息、第一巡检列表、第二巡检列表和列车编组信息；
55.s2、基于所述第一巡检指令，根据所述停车道信息加载对应停车道外的3d地图和第一巡检列表，对所述待巡检列车的两侧进行巡检；
56.s3、基于所述第二巡检指令，加载所述待巡检列车的底盘地图和第二巡检列表，对所述待巡检列车的底盘进行巡检。
57.需要说明的是，本实施例中，待检列车驶入检修道后，上位机主控向两台空闲机器人发送第一巡检指令、第二巡检指令和巡检信息，机器人组根据车道信息载入地图和预设路径后，行驶至列车侧道两边的检测起始点开始对目标列车的日常检修流程，包括列车外部的巡检和底部的巡检，并将巡检结果上传至上位机。
58.需要说明的是，所述机器人搭载有激光传感器、第一深度相机、第二深度相机、第三深度相机和高清工业相机，其中激光传感器和第一深度相机的角度可调，第二深度相机和第三深度相机水平布置。
59.作为进一步优选的技术方案，所述步骤s1：基于所述第一巡检指令，根据所述停车道信息加载对应停车道外的3d地图和第一巡检列表，对所述待巡检列车的两侧进行巡检，包括如下步骤s11至s14：
60.s11、基于所述列检机器人携带的激光传感器和第一深度相机，分别获取激光数据和感知数据；
61.s12、将所述激光数据和感知数据进行融合，并根据融合结果在所述3d地图上进行
定位导航；
62.s13、在导航过程中，执行任务调度算法，控制所述列检机器人携带的工业相机对所述待巡检列车两侧的检测区域进行拍摄，得到待检测图片；
63.需要说明的是，执行任务调度算法对两台机器人进行任务分配，比如一台巡检列车左侧，一台巡检列车右侧，两侧都巡检完后，在检修道入口进行排队，依次进入检修道内进行巡检。
64.s14、采用基于深度学习的视觉检测算法比如yolov5对所述待检测图片进行分析，并将分析结果上传至所述上位机。
65.作为进一步优选的技术方案，所述步骤s2：所述基于所述第二巡检指令，加载所述待巡检列车的底盘地图和第二巡检列表，对所述待巡检列车的底盘进行巡检，包括如下步骤s21至s23：
66.s21、控制所述列检机器人携带的激光传感器仰角呈45度，并根据所述列检机器人携带的激光传感器和深度相机所采集的数据，在所述底盘地图上实现基于列车底盘的定位和停车道中心巡线导航；
67.s22、在导航过程中，控制所述激光传感器和所述列检机器人携带的工业相机对所述待检列车的待检测区域进行拍摄，分别得到3d激光数据和2d数据；
68.s23、对所述3d激光数据和2d数据进行分析，并将分析结果上传至所述上位机。
69.作为进一步优选的技术方案，所述步骤s21：控制所述列检机器人携带的激光传感器仰角呈45度，并根据所述列检机器人携带的激光传感器和深度相机所采集的数据，在所述底盘地图上实现基于列车底盘的定位和停车道中心巡线导航，具体包括：
70.控制所述列检机器人携带的激光传感器和第一深度相机仰角呈45度，并通过所述激光传感器和所述第一深度相机采集待检列车底盘数据；
71.将采集到的底盘数据进行融合，实现列车底盘定位；
72.采用所述列检机器人携带的第二深度相机和第三深度相机对所述停车道两侧的墙面进行提取，获取停车道中心线位置，实现停车道中心巡线导航，所述第二深度相机和所述第三深度相机分别为前置、后置水平深度相机。
73.需要说明的是，本实施例在停车道内的定位算法采用仰角为45度的3d激光和深度相机，通过对底盘同源异构感知数据的融合，使得对同型号不同列车的底盘更具相似性描述能力，从而达到稳定定位。停车道内的导航算法采用前置、后置的水平深度相机，对停车道内两侧的墙面提取，获得中心线位置。
74.作为进一步优选的技术方案，在导航过程中，控制所述列检机器人携带的相机对所述待检列车的待检测区域进行拍摄的过程包括：
75.获取某一巡检点点位拍摄图像的机械臂控制位姿(x1,y1,z1,r1,o1,p1)，其中，x1,y1,z1为机械臂末端相对于基座的三维坐标，r1,o1,p1分别机械臂末端相对于基于的旋转、俯仰和翻滚角；
76.采用定位算法输出三维定位(x2,y2,z2,r2,o2,p2)，该巡检点的坐标为(x3,y3,z3,r3,o3,p3)，计算出机械臂控制拍摄的坐标为(x1 x2‑
x3，y1 y2‑
y3，z1 z2‑
z3,r1 r2‑
r3,o1 o2‑
o3,p1 p2‑
p3)，x2,y2,z2分别表示自主巡检过程中机器人在列车底盘地图中的三维坐标，r2,o2,p2分别为自主巡检过程中机器人在列车底盘地图中的旋转、俯仰和翻滚角，x3,y3,z3分别
表示示教时机器人在列车底盘地图中的三维坐标，r3,o3,p3分别为示教时机器人在列车底盘地图中的旋转、俯仰和翻滚角；
77.控制所述工业相机按照机械臂控制拍摄的坐标进行拍摄。
78.作为进一步优选的技术方案，如图2所示，在导航过程中，控制所述激光传感器对所述待检列车的待检测区域进行拍摄的过程包括：
79.根据所述待检测区域的位置，控制所述列检机器人的机械臂移动至检测预备点，所述检测预备点为事先示教的四个点，对应所述列检机器人顶部四个象限；
80.根据所述待检测区域的位置，计算检测起始点和检测结束点；
81.控制所述激光传感器在所述检测起始点开启线扫激光，水平移动至检测结束点后，结束线扫。
82.作为进一步优选的技术方案，对所述3d激光数据和2d数据进行分析，包括裂纹检测、防松标记检测、刹车磨损检测、踏面检测、温度检测、继电器测温贴读数识别、油位识别、表面异常及缺损检测以及表面漏油检测中的至少一项。
83.需要说明的是，本实施例基于2d视觉数据和3d激光数据进行分析，实现了9大类的缺陷检测，具体为：
84.1)对于裂纹检测，融合2d高清相机数据和3d激光数据，采用深度学习算法识别，同时检测裂纹深度；
85.2)对于防松标记检测，识别2d高清图像中的红线和采用3d激光数据配准以计算水平和偏转误差；
86.3)对于刹车磨损检测，仅采用3d激光数据，识别刹车片和刹车片固定器并计算两者之前的高度差；
87.4)对于踏面检测，仅采用3d激光数据，通过深度阈值检测划痕，根据其和轮缘厚度的高度差检测磨损；
88.5)对于温度检测，仅用2d红外数据，采用红外热像仪对待检测区域拍，利用摄轮廓检测算法提取待测温设备，对轮廓内区域进行测温，输出最高温、平均温和最低温；
89.6)对于继电器测温贴读数识别，仅用2d高清数据，检测计量条位置，根据标定数据按百分比输出结果；
90.7)对于油位识别，仅用2d高清数据，检测油位线并计算其位置，根据标定数据按百分比输出结果；
91.8)对于表面异常以及缺损检测，融合2d高清和3d激光数据，采用基于深度学习的目标检测算法进行识别；
92.9)对于表面漏油检测，仅用2d高清数据，采用基于深度学习的目标检测算法进行识别。
93.作为进一步优选的技术方案，在所述待检列车巡检结束后，还包括步骤s4：
94.s4、所述列检机器人自动返回充电房或执行下一列列车的巡检任务。
95.需要说明的是，列车驶入检修道后，上位机主控向两台空闲机器人发送检测指令和相关信息，机器人组根据车道信息载入地图和预设路径后，行驶至列车侧道两边的检测起始点开始对目标列车的日常检修流程。对于列车外部，机器人组在两侧各自不停车检测，基于水平的前置3d激光和深度相机进行定位导航，并控制云台角度使得高清相机拍摄待检
测区域及实时分析。外侧完成后，机器人组一前一后通过斜坡驶入坑道内并控制3d激光从水平上仰45度，采用列车底盘地图并基于45度的3d激光、45度的深度相机和水平的前后深度相机进行定位导航，机器人组以列车底盘中线为分界线进行分工协同运行，在每一个巡检点控制机械臂使得末端的线扫激光和2d高清相机协作对待检测区域数据获取、分析。检测完成后，机器人组自动返回充电房或者执行下一列列车的巡检任务。
96.本发明基于多传感器感知技术实现列车停车道内狭窄且相似环境下、列车停车道外空旷且相似环境下的自主导航定位，并实现9大类的缺陷检测。
97.如图3所示，本实施例中列检机器人自主巡检步骤如下：
98.机器人主要搭载1个2d高清红外双摄云台、1个可俯仰的3d激光模块、3个深度相机(前、后、仰角45度各1个)、1个6自由度机械、1个线扫激光、1个2d高清工业相机等设备。
99.(1)控制1号机器人在从充电房行驶到停车道外侧，并环绕列车一圈，进行实时3d地图构建。
100.(2)停车道外地图构建完后，设置巡检路径和云台角度，对照检修章程，使得云台中的2d高清相机能够拍摄到待检测区域。
101.(3)按照检修章程实施完成后，下发巡检任务志1号机器人进行初步巡检测试及优化。满足要求后，将1号机器人数据导入至2号机器人巡检验证及优化，直至满足巡检要求。
102.(4)分别控制两台机器人进入检修道内，以列车底盘中线为分界线进行实施。参照检修章程，分别控制两台机器人的机械臂、末端2d高清相机、末端线扫激光对底盘的待检测区域实施，保存机械臂控制数据、高清图像、3d点云数据、检测类型等。
103.(5)底盘全部实施完成后，对两台机器人下发底盘巡检任务，进行测试和优化，直至满足巡检要求。
104.(6)在停车道外地图设置地图切换点，使得机器人在入停车道内前能够切换为列车底盘地图，从而能够自主地从坡道行驶至停车道内。
105.(7)下发整体巡检任务，使得机器人组从充电桩处出发协同工作，依次完成停车道外、内的自主巡检。
106.本实施例还提供了一种列检机器人自主巡检系统，包括：列检机器人和上位机，列检机器人搭载有激光传感器、深度相机、工业相机和控制设备，所述控制设备包括：
107.信息接收模块，用于分别接收上位机发送的第一巡检指令、第二巡检指令和巡检信息，所述巡检信息至少包括待巡检列车的停车道信息、第一巡检列表、第二巡检列表和列车编组信息；
108.第一巡检模块，用于基于所述第一巡检指令，根据所述停车道信息加载对应停车道外的3d地图和第一巡检列表，对所述待巡检列车的两侧进行巡检；
109.第二巡检模块，用于基于所述第二巡检指令，加载所述待巡检列车的底盘地图和第二巡检列表，对所述待巡检列车的底盘进行巡检。
110.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
111.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的写作方法，此处不再赘述。
112.此外，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的列检机器人自主巡检方法。
113.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
114.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，写作设备，或者网络设备等)执行本发明各个实施例所述的方法。
115.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。