巡检操作机器人、巡检操作机器人的操作方法及存储介质与流程

1.本发明涉及电力安全技术领域，尤其涉及一种巡检操作机器人、巡检操作机器人的操作方法及存储介质。


背景技术：

2.随着机器人技术的发展，机器人在电力领域的应用也越来越广泛，巡检操作机器人代替人工执行巡检任务，已经在变电领域成为较为普遍的现象。目前，通过操作机器人执行对应的操作。
3.但是，现有的操作机器人的结构简单，在执行巡检任务时无法实现相对复杂的操作，缺乏安全性和可靠性，导致了缺乏可复杂操作的机器人，以及安全且可靠的机器人操作方法。


技术实现要素：

4.本发明提供一种巡检操作机器人、巡检操作机器人的操作方法及存储介质，用于提供一种可复杂操作的机器人，以及安全且可靠的机器人操作方法。
5.本发明第一方面提供了一种巡检操作机器人，其特征在于，所述巡检操作机器人(1000)包括机器人本体(1100)、三维相机(1200)、二维相机(1300)、机械臂(1400)以及与所述三维相机(1200)、所述二维相机(1300)以及所述机械臂(1400)均电连接的控制器；其中，
6.所述三维相机(1200)安装于所述机器人本体(1100)；
7.所述二维相机(1300)安装于所述机械臂(1400)；
8.所述机械臂(1400)具有连接端和操作端，所述机械臂(1400)的连接端与所述机器人本体(1100)连接，所述机械臂(1400)的操作端安装有操作机构(1500)，所述控制器读取目标操作点对应的目标操作机构的位置信息，以及所述目标操作点的目标三维坐标，基于所述目标操作机构的位置信息和所述目标三维坐标，控制所述机械臂(1400)的所述目标操作机构对所述目标操作点执行操作任务。
9.在一种可行的实施方式中，所述机械臂(1400)包括第一机械臂(1401)和第二机械臂(1402)，所述第一机械臂(1401)为六轴机械臂，所述第二机械臂(1402)为四轴机械臂。
10.在一种可行的实施方式中，所述第一机械臂(1401)用于对所述第二机械臂(1402)上的操作机构进行更换；所述第一机械臂(1401)上的用于拆卸的操作机构，用于对所述第二机械臂(1402)上的操作机构进行拆卸和更换。
11.在一种可行的实施方式中，所述第一机械臂(1401)用于当检测到操作端未安装有当前操作机构时，移动到所述目标操作机构的目标位置处，并将所述目标操作机构安装到操作端；
12.所述第一机械臂(1401)还用于当检测到操作端安装有当前操作机构时，移动到所述当前操作机构对应的存放工位处，将所述当前操作机构放入对应的存放工位内，移动到所述目标操作机构的位置处，并将所述目标操作机构安装到操作端。
13.在一种可行的实施方式中，所述机械臂(1400)用于执行所述目标操作机构的安装操作或所述目标操作机构的切换操作或不执行切换操作、安装操作，将所述目标操作机构运动到所述目标三维坐标对应的位置，并控制所述目标操作机构对所述目标操作点执行操作任务。
14.在一种可行的实施方式中，所述三维相机(1200)用于对目标物体的目标标记点部位进行拍摄，得到三维标记点位置图像；
15.所述二维相机(1300)用于基于所述三维相机(1200)拍摄得到的三维标记点位置图像进行调整后的位置处，对目标操作点进行拍摄；
16.所述二维相机(1300)还用于对操作任务完成后目标操作点对应的操作目标进行拍摄。
17.在一种可行的实施方式中，所述巡检操作机器人(1000)还包括与所述控制器电连接的行走模块(1600)，所述行走模块(1600)安装于所述机器人本体(1100)并用于驱动所述机器人本体(1100)在地面行进或者转动。
18.在一种可行的实施方式中，所述巡检操作机器人(1000)还包括工具库(1700)，所述工具库(1700)安装于所述机器人本体(1100)上，所述工具库(1700)设置有多个存放工位(1701)，多个所述存放工位(1701)均用以供操作机构(1500)存放；
19.所述机械臂(1400)的操作端与所述操作机构(1500)可拆卸连接，所述控制器控制所述机械臂(1400)的操作端与所述工具库(1700)的多个存放工位(1701)中的一个存放工位上的操作机构连接。
20.在一种可行的实施方式中，所述控制器包括第一控制模块、第二控制模块、第三控制模块和第四控制模块；
21.所述第一控制模块用于获取所述三维相机和/或二维相机对目标物体的目标标记点部位进行拍摄所得的目标三维坐标；
22.所述第二控制模块用于根据所述第一控制模块的动作指令控制所述第一机械臂(1401)运动；
23.所述第三控制模块用于根据所述第一控制模块的动作指令控制所述第二机械臂(1402)运动；
24.所述第四控制模块用于根据所述第一控制模块的动作指令控制所述行走模块(1600)运动。
25.在一种可行的实施方式中，所述巡检操作机器人(1000)还包括与所述控制器电连接的双目摄像头(1800)，所述双目摄像头(1800)用于对巡检目标进行仪表仪器读数识别；所述双目摄像头(1800)还用于对巡检目标进行温度检测。
26.在一种可行的实施方式中，所述控制器还包括第五控制模块；
27.所述第五控制模块用于接收所述双目摄像头(1800)的拍摄结果，并对拍摄结果进行分析。
28.本发明第二方面提供了一种巡检操作机器人的操作方法，所述巡检操作机器人的操作方法包括：
29.获取所述三维相机和/或二维相机对目标物体的目标标记点部位进行拍摄所得的目标三维坐标，所述目标操作点为所述目标物体的任务操作点；
30.读取所述目标操作点对应的目标操作机构的位置信息，基于所述目标操作机构的位置信息和所述目标三维坐标，控制所述机械臂的目标操作机构对所述目标操作点执行操作任务。
31.在一种可行的实施方式中，所述读取所述目标操作点对应的目标操作机构的位置信息，基于所述目标操作机构的位置信息和所述目标三维坐标，控制所述机械臂对所述目标操作点执行操作任务，包括：
32.读取所述目标操作点对应的目标操作机构的位置信息；
33.基于所述目标操作机构的位置信息，控制所述机械臂执行所述目标操作机构的安装操作或所述目标操作机构的切换操作或不执行切换操作、安装操作；
34.控制操作后的机械臂上的目标操作机构运动到所述目标三维坐标对应的位置，并对所述目标操作点执行操作任务。
35.在一种可行的实施方式中，所述基于所述目标操作机构的位置信息，控制所述机械臂执行所述目标操作机构的安装操作或所述目标操作机构的切换操作或不执行切换操作、安装操作，包括：
36.当所述目标操作机构的位置信息为所述目标操作机构置于所述工具库中对应的存放工位内时，获取操作机构检测结果，所述操作机构检测结果用于指示检测所述机械臂的操作端是否安装有当前操作机构；
37.根据所述操作机构检测结果，控制所述机械臂执行所述目标操作机构的安装操作或切换操作；
38.当所述目标操作机构的位置信息为所述目标操作机构处于所述机械臂的操作端上时，控制所述机械臂不执行切换操作、安装操作。
39.在一种可行的实施方式中，所述根据所述操作机构检测结果，控制所述机械臂执行所述目标操作机构的安装操作或切换操作，包括：
40.若所述操作机构检测结果为所述机械臂中的第一机械臂的操作端未安装有当前操作机构，则控制所述第一机械臂移动到所述目标操作机构的目标位置处，并将所述目标操作机构安装到所述第一机械臂的操作端；
41.若所述操作机构检测结果为所述第一机械臂的操作端安装有当前操作机构，则获取存放工位检测结果，所述存放工位检测结果用于指示检测所述工具库中所述当前操作机构对应的存放工位是否被占用；
42.若所述工具库中所述当前操作机构对应的存放工位未被占用，则控制所述第一机械臂移动到所述当前操作机构对应的存放工位处，将所述当前操作机构放入对应的存放工位内；
43.控制所述第一机械臂移动到所述目标操作机构的位置处，并将所述目标操作机构安装到所述第一机械臂的操作端。
44.在一种可行的实施方式中，所述根据所述操作机构检测结果，控制所述机械臂执行所述目标操作机构的安装操作或切换操作，包括：
45.若所述操作机构检测结果为所述第二机械臂的操作端未安装有当前操作机构，则控制所述第一机械臂移动到所述目标操作机构的目标位置处，并将所述目标操作机构安装到第二机械臂的操作端；
46.若所述操作机构检测结果为所述第二机械臂的操作端安装有当前操作机构，则获取存放工位检测结果，所述存放工位检测结果用于指示检测所述工具库中所述当前操作机构对应的存放工位是否被占用；
47.若所述工具库中所述当前操作机构对应的存放工位未被占用，则控制所述第一机械臂通过所述第一机械臂上的用于拆卸的操作机构，对所述第二机械臂上的当前操作机构进行拆卸，并移动到所述当前操作机构对应的存放工位处，将所述当前操作机构放入对应的存放工位内；
48.控制所述第一机械臂移动到所述目标操作机构的位置处，通过所述第一机械臂上的用于拆卸的操作机构，将所述目标操作机构安装到所述第二机械臂的操作端，并控制所述第二机械臂进行目标操作机构安装的复核。
49.在一种可行的实施方式中，所述读取所述目标操作点对应的目标操作机构的位置信息，基于所述目标操作机构的位置信息和所述目标三维坐标，控制所述机械臂对所述目标操作点执行操作任务之后，还包括：
50.当检测到操作动作完成时，获取操作目标图像，对所述操作目标图像进行状态分析并确认操作目标已完成操作，所述操作目标图像用于指示所述二维相机对操作任务完成后目标操作点对应的操作目标进行拍摄所得的图像。
51.在一种可行的实施方式中，所述巡检操作机器人的操作方法还包括：
52.获取所述双目摄像头的巡检目标拍摄结果，并通过所述巡检目标拍摄结果对巡检目标进行仪表仪器读数识别或温度检测。
53.本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的巡检操作机器人的操作方法。
54.本发明提供的技术方案中，巡检操作机器人包括机器人本体、三维相机、二维相机、机械臂以及与所述三维相机所述二维相机以及所述机械臂均电连接的控制器，通过巡检操作机器人的控制器读取目标操作点对应的目标操作机构的位置信息，以及目标操作点的目标三维坐标，基于目标操作机构的位置信息和目标三维坐标，控制机械臂的目标操作机构对目标操作点执行操作任务，实现了将巡检和操作复合一体，以及实现了目标操作结构确定和操作确定的操作方法，提供了一种可复杂操作的机器人，以及安全且可靠的机器人操作方法。
附图说明
55.图1为本发明实施例中巡检操作机器人的一个结构示意图；
56.图2为本发明实施例中巡检操作机器人的操作方法的一个实施例示意图；
57.图3为本发明实施例中本体理想基准点位置的三维相机和/或处于相机理想基准点位置的二维相机的一个结构示意图；
58.图4为本发明实施例中巡检操作机器人的操作方法的另一个实施例示意图；
59.图5为本发明实施例中目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务的一个位置示意图；
60.图6为本发明实施例中目标操作机构运动到目标三维坐标对应的位置，并对目标
操作点执行操作任务的另一个位置示意图。
61.附图标号说明：
62.标号名称标号名称1000巡检操作机器人1500b第二机械臂上的操作机构1100机器人本体1600行走模块1200三维相机1601移动底盘1300二维相机1602行走机构1301第一二维相机1700工具库1302第二二维相机1701存放工位1400机械臂1800双目摄像头1401第一机械臂1801可见光摄像头1402第二机械臂1802红外热成像仪1500操作机构1900云台1500a用于拆卸的操作机构1010升降平台
具体实施方式
63.本发明实施例提供了一种巡检操作机器人、巡检操作机器人的操作方法及存储介质，提供了一种可复杂操作的机器人，以及安全且可靠的机器人操作方法。
64.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
65.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，图1是本发明实施例提供的一种巡检操作机器人1000的结构示意图，巡检操作机器人1000包括：机器人本体1100、三维相机1200、二维相机1300、机械臂1400以及与三维相机1200、二维相机1300以及机械臂1400均电连接的控制器(图中未示出)；其中，三维相机1200安装于机器人本体1100；二维相机1300安装于机械臂1400上；机械臂1400具有连接端和操作端，机械臂1400的连接端与机器人本体1100连接，机械臂1400的操作端安装有操作机构1500；控制器用于控制三维相机1200、二维相机1300以及机械臂1400执行对应的操作动作。
66.进一步地，机械臂(1400)用于执行目标操作机构的安装操作或目标操作机构的切换操作或不执行切换操作、安装操作，将目标操作机构运动到目标三维坐标对应的位置，并控制目标操作机构对目标操作点执行操作任务。
67.三维相机(1200)用于对目标物体的目标标记点部位进行拍摄，得到三维标记点位置图像；二维相机(1300)用于基于三维相机(1200)拍摄得到的三维标记点位置图像进行调整后的位置处，对目标操作点进行拍摄；二维相机(1300)还用于对操作任务完成后目标操作点对应的操作目标进行拍摄。
68.机械臂1400包括第一机械臂1401和第二机械臂1402，二维相机1300包括第一二维相机1301和第二二维相机1302；第一二维相机1301安装在于第一机械臂1401的操作端；第二二维相机1302安装在于第二机械臂1402的操作端。第一机械臂1401用于对操作自由度要求高的操作目标进行操作，以及用于安装不同的操作机构1500，第一机械臂1401可为六轴机械臂；第二机械臂1402，用于对操作力矩要求较高的操作目标进行操作，第二机械臂1402可为四轴机械臂。第一机械臂(1401)还用于对第二机械臂(1402)上的操作机构1500b进行更换；第一机械臂(1401)上的用于拆卸的操作机构1500a，用于对第二机械臂(1402)上的操作机构1500b进行拆卸和更换。
69.可选的，第一机械臂(1401)用于当检测到操作端未安装有当前操作机构时，移动到目标操作机构的目标位置处，并将目标操作机构安装到操作端；第一机械臂(1401)还用于当检测到操作端安装有当前操作机构时，移动到当前操作机构对应的存放工位处，将当前操作机构放入对应的存放工位内，移动到目标操作机构的位置处，并将目标操作机构安装到操作端。
70.巡检操作机器人1000还包括工具库1700，工具库1700安装于机器人本体1100上，工具库1700设置有多个存放工位1701，多个存放工位1701均用以供操作机构1500存放；机械臂1400的操作端与操作机构1500可拆卸连接，控制器控制机械臂1400的操作端与工具库1700的多个存放工位1701中的一个存放工位1701上的操作机构1500连接。工具库1700的多个存放工位1701中的一个存放工位1701上的操作机构1500安装于第一机械臂1401。每个存放工位1701内设有识别装置，每个操作机构1500上设有识别码，机械臂1400的操作端设有识别装置，识别装置用于识别每个操作机构1500上的识别码。
71.机械臂1400的操作端可通过磁铁式连接器与工具库1700的多个存放工位1701中的一个存放工位1701上的操作机构1500连接。机械臂1400的操作端也可通过液压卡爪与工具库1700的多个存放工位1701中的一个存放工位1701上的操作机构1500连接，当机械臂1400的操作端执行操作机构1500的安装操作(将操作机构1500安装到机械臂1400的操作端)时，通过控制液压卡爪加压对操作机构1500进行夹持；当机械臂1400的操作端执行操作机构1500的拆卸操作(将操作机构1500从机械臂1400的操作端上拆卸)时，通过控制液压卡爪减压对操作机构1500进行释放。
72.机械臂1400的操作端可设有转盘，二维相机1300安装于转盘，转盘用于驱动二维相机1300转动；二维相机1300，用于在机械臂1400的带动下移动到目标物体上的操作目标的目标位置处并进行拍摄。
73.巡检操作机器人1000还包括与控制器电连接的行走模块1600，行走模块1600安装于机器人本体1100并用于驱动机器人本体1100在地面行进或者转动。行走模块1600包括移动底盘1601和行走机构1602；机器人本体1100安装于移动底盘1601上，移动底盘1601用于驱动机器人本体1100在地面行进或者转动；行走机构1602安装于移动底盘1601，用于移动底盘在地面行进或者转动。移动底盘1601设置有一个或一个以上的激光雷达，激光雷达，用于巡检操作机器人1000的导航和避障(即躲避障碍物)。
74.行走机构1602可为车轮式行走机构，如：驱动轮和转向轮；行走机构1602也可为履带式行走机构；行走机构1602也可为步行机构，如：两足步行机构、四足步行机构和六足步行机构；行走机构1602也可为吸盘式行走机构；行走机构1602也可为磁铁式行走机构；行走
机构1602也可为混合式行走机构，如：车轮和脚并用的行走机构，脚端装有球形转动体，在此不做限定。
75.巡检操作机器人1000还包括与控制器电连接的双目摄像头1800，双目摄像头1800用于对巡检目标进行仪表仪器读数识别；双目摄像头1800还用于对巡检目标进行温度检测。双目摄像头1800包括可见光摄像头1801和红外热成像仪1802；可见光摄像头1801用于对巡检目标的仪表仪器进行拍照，经过图像分析进行仪表读数识别；红外热成像仪1802用于对巡检目标的温度进行检测。
76.巡检操作机器人1000还包括云台1900和升降平台1010，云台1900用于放置相机；三维相机1200安装于云台1900；双目摄像头1800安装于云台1900；第一机械臂1401安装于升降平台1010，升降平台1010用于沿着巡检操作机器人1000的高度方向控制第一机械臂1401伸出或缩回。云台1900可进行伸缩操作。云台1900与三维相机1200、双目摄像头1800的连接处分别设有连接机构，连接机构可为转盘，该转盘用于支持三维相机1200、双目摄像头1800的转动。
77.控制器包括第一控制模块、第二控制模块、第三控制模块、第四控制模块和第五控制模块。第一控制模块，用于接收三维相机1200和二维相机1300的拍摄结果并进行分析，下发动作指令给第二控制模块、第三控制模块和第四控制模块，具体的，第一控制模块用于获取三维相机和/或二维相机对目标物体的目标标记点部位进行拍摄所得的目标三维坐标；第二控制模块用于根据第一控制模块的动作指令控制第一机械臂1401运动；第三控制模块用于根据第一控制模块的动作指令控制第二机械臂1402运动；第四控制模块用于根据第一控制模块的动作指令控制行走模块1600运动，进一步地，第四控制模块用于根据第一控制模块的动作指令控制移动底盘1601运动；第五控制模块用于接收双目摄像头1800的拍摄结果，并对拍摄结果进行分析，用于对巡检目标的检测和读数识别。
78.本发明实施例，巡检操作机器人包括机器人本体、三维相机、二维相机、机械臂以及与所述三维相机、所述二维相机以及所述机械臂均电连接的控制器，其中，三维相机安装于机器人本体；二维相机装于机械臂上；机械臂具有连接端和操作端，机械臂连接端与机器人本体连接，机械臂的操作端安装有操作机构；控制器用于控制三维相机、二维相机以及机械臂执行对应的操作动作，实现了将巡检和操作复合一体，以及实现了目标操作结构确定和操作确定的操作方法，提供了一种可复杂操作的机器人。
79.请参阅图2，本发明实施例中巡检操作机器人的操作方法的一个实施例包括：
80.s101、获取三维相机和/或二维相机对目标物体的目标标记点部位进行拍摄所得的目标三维坐标，目标操作点为目标物体的任务操作点。
81.本发明的巡检操作机器人和巡检操作机器人的操作方法可适用于工业、轨道交通和发电厂等，在此不做具体的限定，例如，轨道交通中，巡检操作机器人可为轨道智能巡检操作机器人，通过轨道智能巡检操作机器人，结合三维相机和二维相机，对各轨道设备进行精确识别、精确定位和对应的精确操作。本发明的巡检操作机器人对应操作的目标物体可为电气设备和非电气设备，电气设备如：变电站内某处的开关柜上的按钮、开关等，在此不做具体的限定。为了便于说明，作为示例而非限定的是，本实施例中的目标物体以电气设备为例进行说明。
82.作为示例而非限定的是，本发明以巡检操作机器人作为巡检操作机器人的操作方
法的执行主体进行说明。
83.其中，操作任务的预设的电气设备的表面(一个或一个以上的表面)上设置有一个或一个以上的标记点。巡检操作机器人1000通过控制器根据操作任务的内容控制移动底盘1601通过激光导航，按照既定的行走路径将巡检操作机器人1000导航至电气设备的预设位置处，以使得标记点出现在三维(3dimensin，3d)相机的视觉范围内。电气设备为操作任务中的操作目标所在的设备，即目标物体为操作任务中的操作目标所在的物体。
84.巡检操作机器人1000通过控制器发送第一摄像指令至三维相机1200，三维相机1200接收到第一摄像指令后，基于第一摄像指令对电气设备的表面上的目标标记点部位进行拍摄，得到三维标记点位置图像，并将三维标记点位置图像返回至控制器，其中，目标标记点部位用于指示电气设备的包括标记点在内的部分柜体或全部柜体的表面，三维标记点位置图像包括目标标记点部位的像素坐标(三维相机坐标)。控制器将三维标记点位置图像中的三维相机坐标提取并作为目标三维坐标。
85.或者，目标三维坐标为修正三维坐标，获取修正三维坐标的执行过程包括：控制器根据三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像进行处理并计算补偿位置信息和提取目标操作点的高度坐标，并根据二维相机基于补偿位置信息调整后拍摄的目标操作点图像进行处理并计算目标操作点的二维坐标，基于二维坐标和高度坐标生成目标操作点的修正三维坐标。具体的，控制器接收到三维相机1200发送的三维标记点位置图像后，通过三维标记点位置图像计算补偿角度和补偿距离，得到补偿位置信息。控制器获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标；基于二维坐标和高度坐标生成目标操作点的目标三维坐标(即修正三维坐标)。
86.需要说明的是，目标三维坐标也可为对于处于机器人本体1100的本体理想基准点位置的三维相机1200和/或处于相机理想基准点位置的二维相机1300拍摄所得的图像进行分析所得的三维坐标，如图3所示，图3为本体理想基准点位置的三维相机和/或处于相机理想基准点位置的二维相机的结构示意图。
87.s102、读取目标操作点对应的目标操作机构的位置信息，基于目标操作机构的位置信息和目标三维坐标，控制机械臂的目标操作机构对目标操作点执行操作任务。
88.具体的，巡检操作机器人1000读取目标操作点对应的目标操作机构的位置信息；基于目标操作机构的位置信息，控制机械臂1400执行目标操作机构的安装操作或目标操作机构的切换操作或不执行切换操作、安装操作；控制操作后的机械臂1400上的目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务。
89.巡检操作机器人1000读取目标操作点对应的目标操作机构的位置信息的执行过程包括：巡检操作机器人1000通过控制器发送识别指令给机械臂1400的操作端的识别装置和存放工位1701内的识别装置，机械臂1400的操作端的识别装置基于识别指令，对机械臂1400的操作端进行识别，得到第一识别信息，第一识别信息包括识别装置的位置信息和机械臂1400的操作端的识别结果，并将第一识别信息发送至控制器，存放工位1701内的识别装置基于识别指令，对各存放工位1701内进行识别，得到第二识别信息，第二识别信息包括识别装置的位置信息和存放工位1701内的识别结果，将第二识别信息发送至控制器，控制器接收到第一识别信息和第二识别信息后，获取目标操作机构的目标信息(包括目标操作
机构的结构信息和识别码信息)，通过目标操作机构的目标信息，对第一识别信息和第二识别信息进行匹配，得到目标识别信息，将目标识别信息中识别装置的位置信息确定为目标操作机构的位置信息。
90.进一步地，为了提高目标操作机构的位置信息的准确性，巡检操作机器人1000控制三维相机1200或二维相机1300移动到目标识别信息中识别装置的位置信息对应的位置处进行拍摄，得到第一位置图像，调用预置的图像处理算法，对第一位置图像进行图像预处理和目标操作机构识别，若目标操作机构识别的结果为第一位置图像中存在目标操作机构，则将目标识别信息中识别装置的位置信息确定为最终的目标操作机构的位置信息，若目标操作机构识别的结果为位置图像中不存在目标操作机构，则调用识别装置重新对目标操作结构进行识别，并获取对应的位置信息，从而得到目标操作点(操作目标)对应的目标操作机构的位置信息。
91.巡检操作机器人1000基于目标操作机构的位置信息，控制机械臂1400执行目标操作机构的安装操作或目标操作机构的切换操作或不执行切换操作、安装操作的执行过程包括：巡检操作机器人1000通过控制器根据目标操作机构的位置信息下发对应(不同)的动作指令给机械臂1400，以使得机械臂1400执行目标操作机构安装操作或目标操作机构的切换操作或不执行切换操作、安装操作。具体的，若目标操作机构的位置信息为目标操作机构位于机械臂1400上，则巡检操作机器人1000通过控制器发送目标项不执行指令给机械臂1400，机械臂1400接收目标项不执行指令后，不执行切换操作、安装操作，执行步骤s106对应的内容；若目标操作机构的位置信息为目标操作机构非位于机械臂1400上，则根据目标操作机构的位置信息发送安装指令或切换指令给机械臂1400，机械臂1400接收到安装指令或切换指令后，基于安装指令执行目标操作机构安装的操作动作，或者基于切换指令执行目标操作机构切换的操作动作。
92.巡检操作机器人1000控制操作后的机械臂上的目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务的执行过程包括：巡检操作机器人1000可通过控制器发送第二运动指令给控制操作后的机械臂1400，控制操作后的机械臂1400接收第二运动指令后，基于第二运动指令运动到目标三维坐标对应的位置，以将机械臂1400上的目标操作机构运动到目标三维坐标对应的位置，机械臂1400执行完第二运动指令对应的操作动作后，返回完成指令给控制器，控制器接收到完成指令后，基于操作任务发送任务操作指令序列给机械臂1400，机械臂1400接收任务操作指令序列后，根据任务操作指令序列对(操作目标的)目标操作点执行操作动作。
93.本发明实施例中，通过获取三维相机和/或二维相机对目标物体的目标标记点部位进行拍摄所得的目标三维坐标，基于目标操作机构的位置信息和目标三维坐标，控制机械臂对目标操作点执行操作任务，保证了操作的准确性，并通过将巡检和操作复合一体，以及通过实现目标操作结构确定和操作确定的操作方法，提供了安全且可靠的机器人操作方法。
94.请参阅图4，本发明实施例中巡检操作机器人的操作方法的另一个实施例包括：
95.s201、获取三维相机和/或二维相机对目标物体的目标标记点部位进行拍摄所得的目标三维坐标，目标操作点为目标物体的任务操作点。
96.本发明的巡检操作机器人和巡检操作机器人的操作方法可适用于油气运输业、工
业、轨道交通和发电厂等，在此不做具体的限定，例如，油气运输业中，巡检操作机器人可为油井智能巡检操作机器人，通过油井智能巡检操作机器人，结合双目摄像头、三维相机和二维相机，对油井内各类仪表设备进行精确识别、精确定位和对应的精确操作。本发明的巡检操作机器人对应操作的目标物体可为电气设备和非电气设备，电气设备如：变电站内某处的电气柜上的按钮、开关等，在此不做具体的限定。
97.为了便于说明，作为示例而非限定的是，本实施例中的目标物体以电气设备中的电气柜、目标物体的表面为柜体表面进行说明。电气柜为操作任务中的操作目标所在的设备，即目标物体为操作任务中的操作目标所在的物体，目标物体的表面可为操作目标所在的柜体表面，即柜体表面。
98.该步骤s201的执行过程与上述步骤s101的执行过程类似，在此不再赘述。
99.其中，巡检操作机器人1000通过控制器控制云台沿着垂直机器人本体1100的方向伸缩，以对三维相机1200和双目摄像头1800的高度进行调节。当第一机械臂1401的操作高度达到预设阈值时，巡检操作机器人1000可通过控制器控制升降平台1010沿着垂直机器人本体1100的方向伸缩，以对第一机械臂1401的高度进行调节。
100.s202、读取目标操作点对应的目标操作机构的位置信息，基于目标操作机构的位置信息和目标三维坐标，控制机械臂的目标操作机构对目标操作点执行操作任务。
101.具体的，巡检操作机器人1000读取目标操作点对应的目标操作机构的位置信息；基于目标操作机构的位置信息，控制机械臂执行目标操作机构的安装操作或目标操作机构的切换操作或不执行切换操作、安装操作；控制操作后的机械臂上的目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务。
102.如图5和图6所示，图5为目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务的一个位置示意图，图6为目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务的另一个位置示意图。
103.巡检操作机器人1000读取目标操作点对应的目标操作机构的位置信息的执行过程包括：巡检操作机器人1000控制机械臂1400的操作端的识别装置和存放工位1701内的识别装置，对目标操作点(操作目标)对应的目标操作机构上的识别码进行实时识别，并将实时识别的信息发送给控制器，控制器对接收到的实时识别的信息发送云(可为私有云)，通过云(可为私有云)对实时识别的信息进行云存储，以提高实时识别的信息的管理便捷性和安全性。当巡检操作机器人1000需读取目标操作机构当前时刻的位置信息时，通过第一控制模块发送读取请求给云(私有云)，读取请求包括目标操作机构、当前时刻和位置对应的关键信息，并接收云(私有云)发送的目标操作机构当前时刻的位置信息，从而得到目标操作机构的位置信息。
104.进一步地，为了提高目标操作机构的位置信息的准确性，巡检操作机器人1000通过第一控制模块发送第三拍摄指令给三维相机1200或二维相机1300，三维相机1200或二维相机1300基于第三拍摄指令对云(私有云)发送的目标操作机构当前时刻的位置信息对应的位置处进行拍摄，得到第二位置图像，调用预置的图像处理算法，对第二位置图像进行图像预处理和目标操作机构识别；若目标操作机构识别的结果为第二位置图像中存在目标操作机构，则将云(私有云)发送的目标操作机构当前时刻的位置信息确定为最终的目标操作机构的位置信息；若目标操作机构识别的结果为位置图像中不存在目标操作机构，则发送
重新识别指令至识别装置，识别装置基于重新识别指令重新对目标操作结构对应的识别码进行识别，并获取对应的位置信息，从而得到目标操作点(操作目标)对应的目标操作机构的位置信息。
105.巡检操作机器人1000基于目标操作机构的位置信息，控制机械臂执行目标操作机构的安装操作或目标操作机构的切换操作或不执行切换操作、安装操作的执行过程包括：具体的，当目标操作机构的位置信息为目标操作机构置于工具库1700中对应的存放工位1701内时，获取操作机构检测结果，操作机构检测结果用于指示检测机械臂1400的操作端是否安装有当前操作机构；根据操作机构检测结果，控制机械臂1400执行目标操作机构的安装操作或切换操作；当目标操作机构的位置信息为目标操作机构处于机械臂1400的操作端上时，控制机械臂1400不执行切换操作、安装操作。
106.具体的，若操作机构检测结果为机械臂1400中的第一机械臂1401的操作端未安装有当前操作机构，则控制第一机械臂1401移动到目标操作机构的目标位置处，并将目标操作机构安装到第一机械臂1401的操作端，机械臂1400包括第一机械臂1401和第二机械臂1402；若操作机构检测结果为第一机械臂1410的操作端安装有当前操作机构，则获取存放工位检测结果，存放工位检测结果用于指示检测工具库1700中当前操作机构对应的存放工位1701是否被占用；若工具库1700中当前操作机构对应的存放工位1701未被占用，则控制第一机械臂1401移动到当前操作机构对应的存放工位1701处，将当前操作机构放入对应的存放工位1701内；控制第一机械臂1401移动到目标操作机构的位置处，并将目标操作机构安装到第一机械臂1401的操作端。
107.当目标操作机构的位置信息为目标操作机构置于工具库1700中对应的存放工位1701内时，巡检操作机器人1000通过第一控制模块发送第一检测指令给第一机械臂1401的识别装置，第一机械臂1401的识别装置基于第一检测指令，对第一机械臂1401的操作端进行识别得到操作机构检测结果，并将操作机构检测结果发送至第一控制模块，第一控制模块接收到操作机构检测结果后，对操作机构检测结果进行分析。
108.若操作机构检测结果为第一机械臂1401的操作端未安装有当前操作机构，则第一控制模块发送安装指令至第二控制模块，第二控制模块基于安装指令控制第一机械臂1401移动到目标操作机构的目标位置处，并将目标操作机构安装到第一机械臂1401的操作端，进一步地，第一控制模块接收第一机械臂1401的操作端的识别装置发送的安装后的识别信息，并对识别信息进行分析，以检测确认目标操作机构是否安装到第一机械臂1401的操作端。
109.若操作机构检测结果为第一机械臂1401的操作端安装有当前操作机构，则第一控制模块发送第二检测指令至当前操作机构对应的存放工位1701内的识别装置，该识别装置基于第二检测指令对工具库1700中当前操作机构对应的存放工位1701进行识别得到存放工位检测结果，并将存放工位检测结果发送至第一控制模块，存放工位检测结果用于指示检测工具库1700中当前操作机构对应的存放工位1701是否被占用，第一控制模块接收到存放工位检测结果后，对存放工位检测结果进行分析，若工具库1700中当前操作机构对应的存放工位1701未被占用，则第一控制模块发送孔位移动指令至第二控制模块，第二控制模块根据孔位移动指令控制第一机械臂1401移动到当前操作机构对应的存放工位1701处，并将当前操作机构放入对应的存放工位1701内，放入对应的存放工位1701内后移动到目标操
作机构的位置处，并将目标操作机构安装到第一机械臂1401的操作端；若工具库1700中当前操作机构对应的存放工位1701被(非法)占用，则结束操作过程，第一控制模块发送警告信息。
110.当目标操作机构的位置信息为目标操作机构处于机械臂1400的操作端上时，巡检操作机器人1000通过第一控制模块根据目标操作机构的位置信息下发对应(不同)的动作指令给机械臂1400，以使得机械臂1400执行目标操作机构的安装操作或目标操作机构的切换操作或不执行切换操作、安装操作。
111.巡检操作机器人1000控制操作后的机械臂上的目标操作机构运动到目标三维坐标对应的位置，并对目标操作点执行操作任务的执行过程包括：巡检操作机器人1000也可通过控制器发送动作指令和任务操作指令给操作后的机械臂1400，操作后的机械臂1400接收到动作指令和任务操作指令，先基于动作指令运动到目标三维坐标对应的位置，然后基于任务操作指令根据操作任务对目标操作点(操作目标)执行操作动作，其中，动作指令和任务操作指令具有先后执行顺序，即动作指令的优先级大于任务操作指令，优先执行动作指令，动作指令执行完成后再执行任务操作指令。
112.可选的，根据操作机构检测结果，控制机械臂执行目标操作机构的安装操作或切换操作，包括：若操作机构检测结果为第二机械臂的操作端未安装有当前操作机构，则控制第一机械臂移动到目标操作机构的目标位置处，并将目标操作机构安装到第二机械臂的操作端；若操作机构检测结果为第二机械臂的操作端安装有当前操作机构，则获取存放工位检测结果，存放工位检测结果用于指示检测工具库中当前操作机构对应的存放工位是否被占用；若工具库中当前操作机构对应的存放工位未被占用，则控制第一机械臂通过第一机械臂上的用于拆卸的操作机构，对第二机械臂上的当前操作机构进行拆卸，并移动到当前操作机构对应的存放工位处，将当前操作机构放入对应的存放工位内；控制第一机械臂移动到目标操作机构的位置处，通过第一机械臂上的用于拆卸的操作机构，将目标操作机构安装到第二机械臂的操作端，并控制第二机械臂进行目标操作机构安装的复核。
113.若操作机构检测结果为第二机械臂的操作端未安装有当前操作机构，则通过控制器检测第一机械臂上1401是否安装有用于拆卸的操作结构，若是，则通过控制器控制第一机械臂1401移动到目标操作机构的目标位置处，基于第一机械臂1401上的用于拆卸的操作结构将目标操作机构安装到第二机械臂的操作端，若否，则通过控制器读取工具库1700上存放用于拆卸的操作结构的存放工位，控制第一机械臂1401移动到工具库1700上存放用于拆卸的操作结构的存放工位的位置处，通过第一机械臂1401将用于拆卸的操作结构安装于第一机械臂1401的操作端，通过控制器控制安装用于拆卸的操作结构后的第一机械臂1401移动到目标操作机构的目标位置处，基于第一机械臂1401上的用于拆卸的操作结构将目标操作机构安装到第二机械臂的操作端。
114.若操作机构检测结果为第二机械臂的操作端安装有当前操作机构，则通过控制器检测第一机械臂上1401是否安装有用于拆卸的操作结构，若控制器检测第一机械臂上1401是安装有用于拆卸的操作结构，则获取存放工位检测结果，存放工位检测结果用于指示检测工具库中当前操作机构对应的存放工位是否被占用；若工具库中当前操作机构对应的存放工位未被占用，则控制第一机械臂通过第一机械臂上的用于拆卸的操作机构，对第二机械臂上的当前操作机构进行拆卸，并移动到当前操作机构对应的存放工位处，将当前操作
机构放入对应的存放工位内；控制第一机械臂移动到目标操作机构的位置处，通过第一机械臂上的用于拆卸的操作机构，将目标操作机构安装到第二机械臂的操作端，并控制第二机械臂进行目标操作机构安装的复核，以确定第二机械臂上的目标操作机构安装完成。若控制器检测第一机械臂上1401未安装有用于拆卸的操作结构，则通过控制器读取工具库1700上存放用于拆卸的操作结构的存放工位，控制第一机械臂1401移动到工具库1700上存放用于拆卸的操作结构的存放工位的位置处，通过第一机械臂1401将用于拆卸的操作结构安装于第一机械臂1401的操作端，获取存放工位检测结果，存放工位检测结果用于指示检测工具库中当前操作机构对应的存放工位是否被占用；若工具库中当前操作机构对应的存放工位未被占用，则控制第一机械臂通过第一机械臂上的用于拆卸的操作机构，对第二机械臂上的当前操作机构进行拆卸，并移动到当前操作机构对应的存放工位处，将当前操作机构放入对应的存放工位内；控制第一机械臂移动到目标操作机构的位置处，通过第一机械臂上的用于拆卸的操作机构，将目标操作机构安装到第二机械臂的操作端，并控制第二机械臂进行目标操作机构安装的复核，以确定第二机械臂上的目标操作机构安装完成。若工具库1700中当前操作机构对应的存放工位1701被(非法)占用，则结束操作过程，第一控制模块发送警告信息。
115.其中，控制第二机械臂进行目标操作机构安装的复核的执行过程可包括：可通过三维相机1200和/或二维相机1300，对第二机械臂上的目标操作机构安装处进行拍摄，通过拍摄所得的图像检测目标操作机构安装的状况，以实现控制第二机械臂进行目标操作机构安装的复核。
116.s203、当检测到操作动作完成时，获取操作目标图像，对操作目标图像进行状态分析并确认操作目标已完成操作，操作目标图像用于指示二维相机对操作动作完成后目标操作点对应的操作目标进行拍摄所得的图像。
117.具体地，当检测到操作动作完成时，控制机械臂1400运动，以使得二维相机运动到相机理想基准点；获取位于相机理想基准点的二维相机拍摄的操作目标图像，操作目标图像用于指示操作动作完成后目标操作点对应的操作目标的图像；对操作目标图像进行状态分析得到状态分析结果，并根据状态分析结果确认操作目标已完成操作。
118.当第一控制模块检测到操作动作完成时，发送第三运动指令至第二控制模块或第三控制模块，第二控制模块根据第三运动指令控制第一机械臂1401运动，以使得第一二维相机1301运动到相机理想基准点，或者，第三控制模块根据第三运动指令控制第二机械臂1402运动，以使得第二二维相机1302运动到相机理想基准点；第一控制模块发送第四拍摄指令至位于相机理想基准点的第一二维相机1301或第二二维相机1302，位于相机理想基准点的第一二维相机1301或第二二维相机1302基于第四拍摄指令对操作动作完成后的操作目标进行拍摄得到操作目标图像，并将操作目标图像发送至第一控制模块，第一控制模块接收第一控制模块后，对第一控制模块进行操作目标状态识别，得到状态识别结果，将状态识别结果与预设的操作完成状态信息进行对比分析，若状态识别结果与预设的操作完成状态信息一致，则第一控制模块确认操作目标已完成操作，若状态识别结果与预设的操作完成状态信息不一致，则第一控制模块发出警告信息或者获取操作目标当前的操作步骤，根据操作目标当前的操作步骤获取未操作的操作步骤，将包括未操作的操作步骤的继续执行指令发送给第二控制模块或第三控制模块，第二控制模块根据继续执行指令控制第一机械
臂1401继续执行，或者第三控制模块根据继续执行指令控制第二机械臂1402继续执行。
119.具体地，巡检操作机器人1000还可执行步骤s206：获取双目摄像头1800的巡检目标拍摄结果，并通过巡检目标拍摄结果对巡检目标进行仪表仪器读数识别或温度检测。
120.当巡检目标为上述的操作任务中的操作目标时，该步骤s206可于步骤s203
‑
s204之间执行：巡检操作机器人1000通过第五控制模块发送第五拍摄指令至双目摄像头1800中的可见光摄像头1801，可见光摄像头1801基于第五拍摄指令对当前的操作目标进行拍摄得到操作目标拍摄结果，调用预置的图像处理算法对操作目标拍摄结果进行图像预处理、特征提取、仪表仪器识别和仪表仪器读数提取，得到仪表仪器读数，以实现通过操作目标拍摄结果对操作目标进行仪表仪器读数识别，判断仪表仪器读数是否符合预设操作条件，若是，则执行步骤s204，若否，则发出警告信息；和/或，巡检操作机器人1000通过第五控制模块发送第六拍摄指令至双目摄像头1800中的红外热成像仪1802，红外热成像仪1802基于第六拍摄指令对当前的操作目标进行红外热成像得到操作目标拍摄结果，调用预置的图像处理算法对操作目标拍摄结果进行图像预处理、特征提取和温度识别，得到温度数据，判断温度数据是否符合预设操作条件，若是，则执行步骤s204，若否，则发出警告信息。
121.该步骤s206可于步骤s205之后执行：巡检操作机器人1000通过第五控制模块发送第七拍摄指令至双目摄像头1800中的可见光摄像头1801，可见光摄像头1801基于第五拍摄指令对当前的操作目标进行拍摄得到操作目标拍摄结果，调用预置的图像处理算法对操作目标拍摄结果进行图像预处理、特征提取、仪表仪器识别和仪表仪器读数提取，得到仪表仪器读数，以实现通过操作目标拍摄结果对操作目标进行仪表仪器读数识别，判断仪表仪器读数是否符合操作任务中的操作结果，若是，则停止执行，若否，则发出警告信息，或者，获取操作目标当前的操作步骤，根据操作目标当前的操作步骤获取未操作的操作步骤，将包括未操作的操作步骤的继续执行指令发送给第二控制模块或第三控制模块，第二控制模块根据继续执行指令控制第一机械臂1401继续执行，或者第三控制模块根据继续执行指令控制第二机械臂1402继续执行；和/或，巡检操作机器人1000通过第五控制模块发送第七拍摄指令至双目摄像头1800中的红外热成像仪1802，红外热成像仪1802基于第六拍摄指令对当前的操作目标进行红外热成像得到操作目标拍摄结果，调用预置的图像处理算法对操作目标拍摄结果进行图像预处理、特征提取和温度识别，得到温度数据，判断温度数据是否大于预设温度值，若是，则发出警告信息并停止操作，若否，则不执行任何操作。
122.当巡检目标不为上述的操作任务中的操作目标时，该步骤s206用于对巡检目标进行实时监测。巡检操作机器人1000通过第五控制模块控制双目摄像头1800中的可见光摄像头1801，对当前的操作目标进行实时拍摄得到实时拍摄结果，调用预置的图像处理算法对实时拍摄结果进行图像预处理、特征提取、仪表仪器识别和仪表仪器读数提取，得到仪表仪器读数，以实现通过实时拍摄结果对操作目标进行仪表仪器读数识别；和/或，巡检操作机器人1000通过第五控制模块控制双目摄像头1800中的红外热成像仪1802对当前的操作目标进行实时的红外热成像得到实时拍摄结果，调用预置的图像处理算法对实时拍摄结果进行图像预处理、特征提取和温度识别，得到温度数据，以实现通过实时拍摄结果对操作目标进行温度检测；将仪表仪器读数和/或温度数据进行实时的私有云存储或者发送至目标终端(或目标服务器)。
123.本发明实施例中，通过获取三维相机和/或二维相机对目标物体的目标标记点部
位进行拍摄所得的目标三维坐标，基于目标操作机构的位置信息和目标三维坐标，控制机械臂对目标操作点执行操作任务，保证了操作的准确性，将巡检和操作复合一体，实现了操作结构的可更换和操作确定，通过调整机械臂和调整本体两种位置目标方法进行三维坐标目标以及操作前确认操作目标，操作后确认操作目标状态以进行复核、并采用了主副两个机械臂(即第一机械臂和第二机械臂)，可兼顾灵活和力量，可以根据操作任务的不同，选择其一或两者协作完成复杂的操作动作，提供了安全且可靠的机器人操作方法。
124.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行巡检操作机器人的操作方法的步骤。
125.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
126.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
127.以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。