一种机器人集群巡检方法、系统、装置、设备及介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种机器人集群巡检方法、系统、装置、设备及介质。


背景技术：

2.为了保证设备及系统的正常运行，对设备及系统进行巡检成为设备及系统的主要运维方式。
3.目前，主要由人工通过相关的检测仪器对设备及系统进行巡检，或者由单个巡检机器人根据操作指令单独完成巡检任务。
4.人工巡检方式除了对人员要求高以外，还存在人工巡检检查不到位、判断失误以及巡检效率低等问题。巡检机器人能够克服人工巡检的一系列问题，代替人力在高压环境下的工作，降低了人工巡检的作业风险，但是当巡检机器人需要执行的任务变的复杂时，单个巡检机器人无法完成巡检任务。


技术实现要素：

5.本发明提供了一种机器人集群巡检方法、系统、装置、设备及介质，能够基于巡检机器人完成复杂巡检任务，并保证巡检机器人的高精度协作，还可以提升巡检效率，降低巡检失误。
6.根据本发明的一方面，提供了一种机器人集群巡检方法，包括：
7.获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图；
8.根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置；
9.根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置；
10.根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
11.根据本发明的另一方面，提供了一种机器人集群巡检系统，包括领航机器人、至少一个跟随者机器人以及中央处理器，其中，
12.领航机器人，用于获取第一机器位姿数据以及第一传感器采集数据；
13.跟随者机器人，用于获取第二机器位姿数据以及第二传感器采集数据；
14.中央处理器，用于根据第一机器位姿数据以及第一传感器采集数据，得到第一点云地图，并根据第二机器位姿数据以及第二传感器采集数据，得到第二点云地图；根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置；根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置；根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
15.根据本发明的另一方面，提供了一种机器人集群巡检装置，包括：
16.点云地图获取模块，用于获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图；
17.初始定位位置确定模块，用于根据第一点云地图以及第二点云地图，确定跟随者
机器人的初始定位位置；
18.移动目标位置确定模块，用于根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置；
19.巡检指令下发模块，用于根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
20.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
21.至少一个处理器；以及
22.与所述至少一个处理器通信连接的存储器；其中，
23.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的机器人集群巡检方法。
24.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的机器人集群巡检方法。
25.本发明实施例的技术方案，通过获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图，进而根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，从而根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置，进一步根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。通过领航机器人以及跟随者机器人构成了机器人集群，摆脱了单个机器人无法完成复杂巡检任务的弊端。根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，可以基于第一点云地图降低初始定位位置的定位误差，实现了巡检机器人的高精度协作，并且由跟随者机器人到达移动目标位置进行任务巡检可以提升巡检效率，解决了现有技术中人工巡检效率低以及单个机器人无法完成复杂巡检任务的问题，能够基于巡检机器人完成复杂巡检任务，并保证巡检机器人的高精度协作，还可以提升巡检效率，降低巡检失误。
26.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例一提供了一种机器人集群巡检方法的流程图；
29.图2为本发明实施例二提供的一种机器人集群巡检方法的流程图；
30.图3是本发明实施例三提供的一种机器人巡检系统的示意图；
31.图4是本发明实施例三提供的一种第一点云地图的示意图；
32.图5是本发明实施例三提供的一种雷达匹配的结构示意图；
33.图6是本发明实施例三提供的一种闭环约束的雷达匹配结构示意图；
34.图7是本发明实施例三提供的一种靶标地图；
35.图8为本发明实施例四提供的一种机器人集群巡检装置的结构示意图；
36.图9示出了可以用来实施本发明的实施例的电子设备的结构示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
38.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.实施例一
40.图1为本发明实施例一提供了一种机器人集群巡检方法的流程图，本实施例可适用于巡检机器人高精度协作的情况，该方法可以由机器人集群巡检装置来执行，该机器人集群巡检装置可以采用硬件和/或软件的形式实现，该机器人集群巡检装置可配置于电子设备中。电子设备可以是计算机或服务器等，本发明实施例并不对电子设备的具体类型进行限定，如图1所示，该方法包括：
41.s110、获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图。
42.其中，领航机器人是最先扫描巡检场地的机器人，用于辅助机器人集群中其他机器人进行位置定位。跟随者机器人可以是机器人集群中除领航机器人之外的其他机器人，用于执行巡检场地的巡检任务。第一点云地图可以是根据领航机器人扫描巡检场地时的扫描数据确定的点云地图。第二点云地图可以是根据跟随者机器人在当前位置的扫描数据确定的点云地图。
43.在本发明实施例中，在领航机器人完成对巡检场地的扫描，且跟随者机器人进入扫描场地之后，可以获取领航机器人的扫描数据，进而根据领航机器人的扫描数据生成第一点云地图，进一步根据跟随者机器人在当前位置的扫描数据生成第二点云地图。
44.可选的，当跟随者机器人的数量为一时，可以根据该跟随者机器人的扫描数据生成一张第二点云地图，当跟随者机器人的数量大于一时，可以生成与跟随者机器人数量相同的第二点云地图，创建各第二点云地图的数据源为各跟随者机器人扫描得到的扫描数据。
45.s120、根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置。
46.其中，初始定位位置可以是根据第一点云地图以及第二点云地图确定的，跟随者机器人在第一点云地图下的定位位置，也即跟随者机器人当前的停驻位置。
47.在本发明实施例中，可以将第一点云地图与第二点云地图进行匹配，确定跟随者
机器人在领航机器人的第一点云地图下的当前位置，从而将跟随者机器人在领航机器人的第一点云地图下的当前位置，作为跟随者机器人的初始定位位置。
48.s130、根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置。
49.其中，移动目标位置可以是跟随者机器人需要达到的最终位置，以使跟随者机器人在移动目标位置执行巡检任务。
50.在本发明实施例中，可以根据跟随者机器人的初始定位位置以及巡检场地的范围，为跟随者机器人分配移动目标位置。
51.可选的，可以根据巡检场地范围的面积大小以及跟随者机器人的数量，将巡检场地范围的面积进行均分，结合每个跟随者机器人的初始定位位置，为各跟随者机器人分配各自的巡检范围，并将巡检范围内的一个位置点作为移动目标位置，或者，结合每个跟随者机器人的初始定位位置以及跟随者机器人各自的设备配置情况，为各跟随者机器人分配各自的巡检范围，并将巡检范围内的一个位置点作为移动目标位置。
52.s140、根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
53.其中，巡检指令可以是发送至跟随者机器人的，引导跟随者机器人到达移动目标位置进行设备巡检的指令。
54.在本发明实施例中，当确定了跟随者机器人的移动目标位置之后，可以进一步确定与移动目标位置匹配的巡检任务，从而根据跟随者机器人的移动目标位置，以及与移动目标位置匹配的巡检任务生成巡检指令，并将巡检指令下发至相应的跟随者机器人。
55.本发明实施例的技术方案，通过获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图，进而根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，从而根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置，进一步根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。通过领航机器人以及跟随者机器人构成了机器人集群，摆脱了单个机器人无法完成复杂巡检任务的弊端。根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，可以基于第一点云地图降低初始定位位置的定位误差，实现了巡检机器人的高精度协作，并且由跟随者机器人到达移动目标位置进行任务巡检可以提升巡检效率，解决了现有技术中人工巡检效率低以及单个机器人无法完成复杂巡检任务的问题，能够基于巡检机器人完成复杂巡检任务，并保证巡检机器人的高精度协作，还可以提升巡检效率，降低巡检失误。
56.实施例二
57.图2为本发明实施例二提供的一种机器人集群巡检方法的流程图，本实施例与上述实施例为基础进行具体化，给出了获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图的一种可选的实施方式，在本实施例中，获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图的具体过程包括：获取领航机器人的第一机器位姿数据以及第一传感器采集数据；根据第一机器位姿数据以及第一传感器采集数据，生成第一点云地图；获取跟随者机器人的第二机器位姿数据以及第二传感器采集数据；根据第二机器位姿数据以及第二传感器采集数据，生成第二点云地图。如图2所示，该方法包括：
58.s210、获取领航机器人的第一机器位姿数据以及第一传感器采集数据。
59.其中，第一机器位姿数据可以是表征领航机器人位置和姿态的数据。第一传感器采集数据可以是领航机器人配置的传感器采集的数据。可选的，第一传感器采集数据可以
包括领航机器人中惯性传感器采集的三轴加速度以及角速度，还可以包括领航机器人的激光雷达采集的点距信息。本发明实施例并不对第一传感器采集数据的具体数据内容进行限定。
60.在本发明实施例中，可以获取领航机器人的摄像头采集的第一机器位姿数据，以及领航机器人中安装的传感器采集的第一传感器采集数据。
61.s220、根据第一机器位姿数据以及第一传感器采集数据，生成第一点云地图。
62.在本发明实施例中，可以将第一机器位姿数据按照所需的通用格式进行数据转化，进而以数据生成的先后顺序进行排序，得到数据序列，进而确定数据序列中每个数据在生成时刻下的第一传感器采集数据，进而将数据序列中每个数据在生成时刻下的第一传感器采集数据，向数据序列中相应数据匹配的激光点进行投影，生成第一点云地图。
63.在本发明的一个可选实施例中，在获取领航机器人的第一点云地图之后，还可以包括：获取领航机器人的靶标地图，并将靶标地图中的靶标统一到目标坐标系下，得到修正行动轨迹；根据领航机器人的修正行动轨迹，修正领航机器人的位姿。
64.其中，目标坐标系可以是预先设定的坐标系。可选的，目标坐标系可以包括slam(simultaneous localization and mapping，即时定位与地图构建)系统下的坐标系等。修正行动轨迹可以是由领航机器人在目标坐标系下的当前实际位置与预设的最终位置之间的连线构成的轨迹。
65.在本发明实施例中，可以先建立领航机器人的靶标地图，进而预先设置目标坐标系，从而将靶标地图中的靶标统一到目标坐标系下，得到在目标坐标系下的当前实际位置，进一步将目标坐标系下的当前实际位置与预设的最终位置之间的连线构成的轨迹，作为领航机器人的修正行动轨迹，从而根据领航机器人的修正行动轨迹，对领航机器人的当前位置和姿态进行修正，以使领航机器人到达预设的最终位置。通过对领航机器人的行动轨迹进行修正可以保证领航机器人的第一点云地图精准度更高。
66.以此类推，还可以获取跟随者机器人的靶标地图，并将靶标地图中的靶标统一到目标坐标系下，得到跟随者机器人的修正行动轨迹，从而根据跟随者机器人的修正行动轨迹，修正跟随者机器人的位姿。
67.s230、获取跟随者机器人的第二机器位姿数据以及第二传感器采集数据。
68.其中，第二机器位姿数据可以是表征跟随者机器人位置和姿态的数据。第二传感器采集数据可以是跟随者机器人配置的传感器采集的数据。可选的，第二传感器采集数据可以包括跟随者机器人中惯性传感器采集的三轴加速度以及角速度，还可以包括跟随者机器人的激光雷达采集的点距信息。
69.在本发明实施例中，可以获取跟随者机器人的摄像头采集的第二机器位姿数据，以及跟随者机器人中安装的传感器采集的第二传感器采集数据。
70.s240、根据第二机器位姿数据以及第二传感器采集数据，生成第二点云地图。
71.在本发明实施例中，可以将第二机器位姿数据按照所需的通用格式进行数据转化，进而以数据生成的先后顺序进行排序，得到数据序列，进而确定数据序列中每个数据在生成时刻下的第二传感器采集数据，进而将数据序列中每个数据在生成时刻下的第二传感器采集数据，向数据序列中相应数据匹配的激光点进行投影，生成第二点云地图。
72.s250、根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置。
73.在本发明的一个可选实施例中，根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，可以包括：将第一点云地图以及第二点云地图进行地面滤波处理，得到第一去噪点云地图以及第二去噪点云地图；分别对第一去噪点云地图以及第二去噪点云地图进行关键点探测，得到第一局部关键特征以及第二局部关键特征；根据第一局部关键特征以及第二局部关键特征，确定跟随者机器人的初始定位位置。
74.其中，第一去噪点云地图可以是将第一点云地图进行地面滤波处理后的点云地图。第二去噪点云地图可以是将第二点云地图进行地面滤波处理后的点云地图。关键点探测可以是对巡检场地所需避让点位的探测操作。可选的，关键点探测可以包括但不限于对墙壁以及拐角等的探测。第一局部关键特征可以是根据第一去噪点云地图进行关键点探测，得到的避让点位的特征。第二局部关键特征可以是根据第二去噪点云地图进行关键点探测，得到的避让点位的特征。
75.在本发明实施例中，可以对第一点云地图以及第二点云地图进行地面滤波处理，去除影响第一点云地图以及第二点云地图匹配的噪音点，得到第一去噪点云地图以及第二去噪点云地图，进一步对第一去噪点云地图进行关键点探测，得到第一局部关键特征，并对第二去噪点云地图进行关键点探测，得到第二局部关键特征，进而对第一局部关键特征以及第二局部关键特征进行粗匹配，根据匹配成功的特征进行icp((iterative closest point，迭代最近点)精准匹配，得到跟随者机器人在领航机器人坐标下的初始定位位置。通过地面滤波处理，可以保证第一点云地图以及第二点云地图匹配的精度，而粗匹配可以提升匹配的速率，通过精准匹配确定初始定位位置可以在更小细粒度下完成特征的匹配，更加准确的得到跟随者机器人的初始定位位置。
76.s260、根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置。
77.在本发明的一个可选实施例中，在根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置之前，还可以包括：在领航机器人与跟随者机器人通视时，获取领航机器人的第一当前靶标以及跟随者机器人的第二当前靶标，并根据第一当前靶标以及第二当前靶标，调整跟随者机器人与领航机器人的相对位姿；在领航机器人与跟随者机器人不通视时，根据第一点云地图以及第二点云地图，调整跟随者机器人与领航机器人的相对位姿。
78.其中，第一当前靶标可以是领航机器人在当前位置的靶标。第二当前靶标可以是跟随者机器人在当前位置的靶标。
79.在本发明实施例中，当领航机器人与跟随者机器人可以互相可见时，表征领航机器人与跟随者机器人处于通视状态，进一步获取领航机器人的第一当前靶标，并获取跟随者机器人的第二当前靶标，从而可以根据第一当前靶标以及第二当前靶标，确定领航机器人与跟随者机器人之间的相对位置，进而根据两者的相对位置，调整跟随者机器人与领航机器人的相对位姿，以使跟随者机器人便于执行巡检任务。当领航机器人与跟随者机器人互相不可见时，表征领航机器人与跟随者机器人处于不通视状态，由于领航机器人与跟随者机器人不通视，无法通过靶标确定两机器人之间的相对位置，进而获取领航机器人的第一点云地图，并获取跟随者机器人的第二点云地图，从而根据第一点云地图以及第二点云地图，确定领航机器人与跟随者机器人之间的相对位置，进而根据两者的相对位置，调整跟随者机器人与领航机器人的相对位姿，以使跟随者机器人便于执行巡检任务。
80.s270、根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
81.在本发明的一个可选实施例中，机器人集群巡检方法还包括：获取跟随者机器人的机器人编号；在目标跟随者机器人无法根据巡检指令移动到移动目标位置时，根据目标跟随者机器人的机器人编号，向目标跟随者机器人下发手动操作指令。
82.其中，机器人编号可以是分配给机器人的编号，用于对不同的跟随者机器人进行区分。目标跟随者机器人可以是无法根据巡检指令完成任务巡检的跟随者机器人。手动操作指令可以是由技术人员手动调整跟随者机器人行进路线的指令。
83.在本发明实施例中，在跟随者机器人执行巡检任务之前，为了使每个跟随者机器人执行各自的巡检任务，防止巡检任务的错误分配，可以预先为跟随者机器人分配机器人编号，进而按照机器人编号为跟随者机器人发放巡检任务。由于跟随者机器人在实际巡检过程中会遇到无法按照原定路线行进的情况(如光照不足导致的靶标无法识别等)，可以将无法根据巡检指令完成任务巡检的跟随者机器人作为目标跟随者机器人，进而按照目标跟随者机器人的机器人编号，向目标跟随者机器人下发手动操作指令，以使跟随者机器人继续完成巡检任务。
84.本发明实施例的技术方案，通过获取领航机器人的第一机器位姿数据以及第一传感器采集数据，进而根据第一机器位姿数据以及第一传感器采集数据，生成第一点云地图，从而获取跟随者机器人的第二机器位姿数据以及第二传感器采集数据，进一步根据第二机器位姿数据以及第二传感器采集数据，生成第二点云地图，进而根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，并根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置，从而根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。通过领航机器人以及跟随者机器人构成了机器人集群，摆脱了单个机器人无法完成复杂巡检任务的弊端。根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，可以基于第一点云地图降低初始定位位置的定位误差，实现了巡检机器人的高精度协作，并且由跟随者机器人到达移动目标位置进行任务巡检可以提升巡检效率，解决了现有技术中人工巡检效率低以及单个机器人无法完成复杂巡检任务的问题，能够基于巡检机器人完成复杂巡检任务，并保证巡检机器人的高精度协作，还可以提升巡检效率，降低巡检失误。
85.实施例三
86.图3是本发明实施例三提供的一种机器人巡检系统的示意图，如图3所示，机器人巡检系统包括领航机器人、至少一个跟随者机器人以及中央处理器，其中，领航机器人，用于获取第一机器位姿数据以及第一传感器采集数据；跟随者机器人，用于获取第二机器位姿数据以及第二传感器采集数据；中央处理器，用于根据第一机器位姿数据以及第一传感器采集数据，得到第一点云地图，并根据第二机器位姿数据以及第二传感器采集数据，得到第二点云地图；根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置；根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置；根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
87.领航机器人以及跟随者机器人能够自主移动，自主定位，自我管理，自动避障以及自动充电，可以实现连续不间断的巡视巡检作业，如完成对电厂区内设备状态的自动化巡检。领航机器人以及跟随者机器人的机器人本体搭载红外摄像头和激光雷达等传感器，装
有无线通讯系统，实现在电厂周围环境的观察、设备运行状况监控、设备热故障检查、自动识别电表读数，和噪音故障检测等，有效降低人工成本和变电站运维成本，提高巡检作业和管理的自动化和智能化水平。
88.而相比于单一的机器人，机器人巡检系统中由领航机器人以及跟随者机器人组成的机器人集群，在巡检任务中具有更大优势，机器人集群系统可以协作完成一项任务，而单个机器人由于受到自身的限制难以快速完成任务。机器人集群的机器人之间互相定位是关键的一环，由于通信和感知手段有限，声学定位与视觉定位是目前通常使用的两种方法。稳定的机器人集群系统依赖于准确的相互定位，但声学定位方法抗干扰性差且定位精度低，不适用于短距离情况下的多机器人的高精度协同运动控制。此外视觉定位方法通过获得的图像信息经过算法处理得到目标的位姿，但受到巡检场地光照、遮挡等环境条件限制，视觉定位方法不可用。
89.领航机器人以及跟随者机器人装载红外摄像头、激光雷达、惯性传感器以及工控机。领航机器人按照巡检任务自主行动，同时使用激光雷达和惯性传感器组成的slam系统建立第一点云地图确认自身位姿同步上传至中央处理器，建立的第一点云地图可参见图4。跟随者机器人通过全局定位技术基于领航机器人上传的第一点云地图获得自身载体位置，并计算其在当前集群内的移动目标位置，实现集群协同工作。其中，惯性传感器设于机器人载体内部，惯性传感器已经和激光雷达及红外摄像头完成外参(激光雷达和红外摄像机之间的相对位置关系，包含旋转和平移量等)标定，惯性传感器和激光雷达组成slam系统并实时在工控机上处理后上传至中央处理器。
90.中央处理器由高性能计算机服务器组成，能够对机器人集群上传的数据进行处理，对机器人集群下发指令，实时状态查看等运算需求等。
91.可选的，中央处理器包括定位数据采集与分析模块、机器人状态查看模块、人机交互模块以及仪表盘结果处理模块。
92.定位数据采集与分析模块，用于对机器人集群采集后上传的数据进行分类并处理，处理后的结果按照对应机器人编号返回至相应机器人。
93.机器人状态查看模块，用于对机器人集群中各个机器人进行状态查看。
94.人机交互模块，用于在机器人集群无法正常工作时，切换至手动模式，通过人工发送手动操作指令，便于机器人集群的正常协作。
95.仪表盘结果处理模块，用于对机器人集群采集的仪表盘数据进行自动分析识别处理。
96.机器人集群可以通过装载的传感器获取数据，并将采集的数据上传至中央处理器。中央处理器可以根据领航机器人上传的数据，确定第一点云地图，根据跟随者机器人上传的数据，确定第二点云地图，进而根据第一点云地图以及第二点云地图，计算各个机器人的位置数据(包括跟随者机器人的初始定位位置)。机器人集群还可以把自身采集的仪表盘数据上传至中央处理器。
97.其中，领航机器人以及跟随者机器人通过激光雷达以及惯性传感器获取周围环境的三维点云，通过惯性传感器获取各独立编号的机器人位姿，还可以通过红外摄像头获取视觉靶标信息。
98.第一点云地图供后续跟随者机器人进行任务时全局定位获取各自坐标，跟随者机
器人的工作范围能够覆盖整个巡检场地。
99.机器人集群通过网络上传数据至中央处理器，领航机器人预先建立好的地图信息，跟随者机器人进行全局定位匹配的点云等。
100.中央处理器需要执行如下任务：中央处理器加载机器人集群领航机器人的地图信息与机器人集群跟随者机器人的传感器数据信息执行全局定位，并将全局定位后位置结果分别返回给对应机器人编号的跟随者机器人。
101.跟随者机器人需要进行以下工作：从中央处理器上载入自身相对于领航机器人坐标系下的位姿，完成领航机器人之外的数据采集任务。
102.领航机器人的工控机加载程序可以执行以下步骤：步骤1.1、激光雷达和惯性传感器实时采集数据并上传至工控机；步骤1.2、工控机执行slam程序对输入的两种传感器数据(惯性传感器和激光雷达采集的数据)进行处理；步骤1.3、slam系统计算得到第一机器位姿数据和第一传感器采集数据从工控机上传至中央处理器。步骤1.4、中央处理器对第一机器位姿数据和第一传感器采集数据进一步处理获得第一点云地图。
103.可选的，步骤1.2中算法整体结构遵从slam基本结构，包括前端处理和后端处理两部分。其中前端处理即算法中的local slam，其主要功能是输入传感器采集数据通过scan-match获取帧间相对位姿关系，构建submap并获取laser-scan与submap(子图)相对位姿关系。而后端处理即为cartographer中的global slam，主要将位姿推移类传感器和前端结果按时间顺序进行串联起来形成一条轨迹，寻找闭环关系，最终采用优化求解获取位姿总体误差最小时的位姿轨迹即submap位姿。
104.slam前端主要采用scan-match的相关技术，计算相邻激光点相对位姿，若已知初始位姿，则可获取所有激光雷达节点全局绝对位姿。因其原理原因，会引入累计误差，但由于相对位姿较为精确，短时间内累加误差较小，cartographer采用一段时间内的激光雷达构建submap而非整个map；每个submap相互独立，并且采用scan-to-map思想进行scan-match进一步降低累计误差，其结构如图5所示。
105.slam后端主要解决slam前端带来的累计误差，主要包括闭环检测和图优化求解两大部分。其中图优化求解目前一般都采用开源优化库；故目前slam质量的好坏，闭环检测成为了重中之重。如下给出cartographer进行后端优化位姿图结构拓扑，前端给出了相邻scannode的位姿约束，同时也给出了submap与组成其的scannode的约束关系，如图6在前端基础上增加了黑色虚线即为闭环检测提供的闭环约束。
106.在进行图优化求解前，构建位姿图。其中黑色实线和黑色虚线约束由前端匹配结果获取；而黑色线约束，即scannode与历史的submap之间的相对位姿；或submap与历史的scannode之间的相对位姿。
107.闭环检测本质仍为scan-match，只是采用当前scannode匹配历史的submap而非当前时刻的submap；或者采用当前完成的submap去匹配历史的scannode。当匹配的置信度(即可认为是吻合度)达到一定值时，可认为闭环存在，增加其约束关系。
108.可选的，步骤1.3可以包括：将惯性传感器获取的三轴加速度和角速度，激光雷达的点距离信息压缩成通用格式文件之后，上传至中央处理器，还可以将从slam系统计算获得的时间戳以及第一机器位姿数据压缩成通用格式之后上传至中央处理器。
109.可选的，步骤1.4可以包括：中央处理器加载第一机器位姿数据，得到数据序列p＝
{p1,p2,
…
，pi}，其中，p1代表领航机器人在坐标系内的初始位置，数据序列中的每个数据按照时间戳的生成顺序排列，i表示数据序列全部数据的个数。按照数据序列中数据对应时间戳寻找该时刻下激光雷达的所有点的距离和角度，对数据序列中数据对应位置的激光点进行投影，在数据序列中所有数据对应位置的激光点完成投影后，得到第一点云地图。
110.领航机器人按照任务线路在移动过程中动态实时采集传感器数据、计算当前位置坐标信息、判断与位置的距离，并利用存储输出程序将时间戳、实时位姿存成数据文件。
111.机器人巡检系统可以以因子图优化为框架、融合北斗精密定位和激光/视觉与全局定位等融合定位技术，提高空间机器人集群定位精度、协同性和连续性。使用激光雷达获取点云信息，全局定位得到其它机器人的高精度相对位姿。
112.在领航机器人的第一点云地图建立完成之后，领航机器人同步移动至目的点附近，slam程序执行完毕，工控机执行精度更高的视觉靶标定位以修正当前位姿。用来定位的红外摄像机设于机器人顶部，镜头朝上，用于拍摄预先布设好的视觉靶标(红外摄像机的内部参数已设置完毕)。
113.领航机器人视觉靶标定位，工控机加载程序执行以下步骤：步骤2.1、建立靶标地图；将所有的靶标统一到同一个目标坐标系下；步骤2.2、建立修正行动轨迹(根据领航机器人当前实际位置和最终目标位置之间创建连线，修正行动轨迹代表领航机器人需要修正时运行的路线)步骤2.3、实时定位与修正。靶标地图可参见图7。
114.可选的，步骤2.1包括：视觉靶标设置与天花板上光线良好处，使红外摄像机拍摄时视觉靶标到相机的距离，能在摄像机内成像清晰；对视觉靶标进行建图，以其中一个靶标为中心点，获得其他靶标相对于其的位置与姿态；将该视觉靶标地图坐标系与slam系统的坐标系建立联系，最终统一到slam系统的坐标系下表示；将建图的坐标信息通过输出程序存成文本文件。
115.可选的，步骤2.2包括：获取此时机器人启动视觉靶标定位时的坐标，同时获取最终目的点坐标p'，得到修正行动轨迹朝向v。
116.可选的，步骤2.3包括：根据红外摄像机内参对当前图像进行图像校正；去除干扰噪声，提取三原色单通道数据图像；进行均值滤波、图像增强、二值化以及形态学操作，获取候选靶标；领航机器人在拍摄图像并图像处理后，执行如下视觉定位步骤：a.对候选靶标进行筛选，去除轮廓周长小于设定阈值的靶标；b.对完成筛选的靶标四个角点进行排序，确保其顺序是顺时针方向；c.对排好序的四个角点进行仿射变换后进行网格划分；d.统计划分好网格中的黑白像素点数；e.根据上步得到的像素点信息在字典中寻找对应的编码和其旋转方式；g.根据焦点像素坐标和其对应的三维空间坐标利用pnp迭代算法估计相机的位置与姿态。根据定位中得到的红外摄像机与靶标的转换关系，靶标与世界坐标系的转换关系，以及红外摄像机相对于领航机器人的转换关系，可以获得领航机器人相对于世界坐标系中的位置p和朝向v'；根据修正行动轨迹朝向v和领航机器人朝向v'计算两个方向之间的夹角α，领航机器人首先根据该夹角调整自身朝向，然后沿修正行动轨迹前进直至实际位置p和目的点坐标p'小于一定阈值。
117.跟随者机器人的工控机加载程序执行以下步骤：步骤3.1，将当前扫描数据上传至中央处理器生成第二点云地图；步骤3.2，根据第二点云地图以及领航机器人的第一点云地图进行全局定位；步骤3.3，获得跟随者机器人相对于领航机器人的位姿；步骤3.4，跟随者
机器人进行区别于领航者的任务。
118.可选的，步骤3.2包括：对上载至中央处理器的第二点云地图和第一点云地图进行地面滤波处理，去除影响点云配准的噪声点；对完成滤波处理后的点云地图进行关键点探测和极坐标栅格化后，对第一局部关键特征以及第二局部关键特征进行粗配准，得到容易区别的特征后进行icp精配准获得跟随者机器人在领航机器人的第一点云地图内的坐标。
119.可选的，步骤3.3包括：对通视的两台机器人(领航机器人以及跟随者机器人)之间直接通过其上所贴的靶标进行位姿转换，对于不通视的两台机器人之间基于步骤3.2中获得的结果进行位姿转换。
120.跟随者获得其在第一点云地图内的位姿后，不再重复进行领航机器人的路线，更换其最终目的的以便进行协同完成大型任务，其后执行的定位步骤与所述领航机器人相同，参照上述步骤，不做另外说明。
121.本发明实施例提供的机器人集群巡检系统使用上述实施例中的机器人集群巡检方法，因此本发明实施例提供的机器人集群巡检系统也具备上述实施例中所描述的有益效果，此处不再赘述。
122.实施例四
123.图8为本发明实施例四提供的一种机器人集群巡检装置的结构示意图。如图8所示，该装置包括点云地图获取模块310、初始定位位置确定模块320、移动目标位置确定模块330以及巡检指令下发模块340，其中，
124.点云地图获取模块310，用于获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图；
125.初始定位位置确定模块320，用于根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置；
126.移动目标位置确定模块330，用于根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置；
127.巡检指令下发模块340，用于根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。
128.本发明实施例的技术方案，通过获取领航机器人的第一点云地图以及跟随者机器人的第二点云地图，进而根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，从而根据跟随者机器人的初始定位位置，确定跟随者机器人的移动目标位置，进一步根据跟随者机器人的移动目标位置，向跟随者机器人下发巡检指令。通过领航机器人以及跟随者机器人构成了机器人集群，摆脱了单个机器人无法完成复杂巡检任务的弊端。根据第一点云地图以及第二点云地图，确定跟随者机器人的初始定位位置，可以基于第一点云地图降低初始定位位置的定位误差，实现了巡检机器人的高精度协作，并且由跟随者机器人到达移动目标位置进行任务巡检可以提升巡检效率，解决了现有技术中人工巡检效率低以及单个机器人无法完成复杂巡检任务的问题，能够基于巡检机器人完成复杂巡检任务，并保证巡检机器人的高精度协作，还可以提升巡检效率，降低巡检失误。
129.可选的，点云地图获取模块310，用于获取所述领航机器人的第一机器位姿数据以及第一传感器采集数据；根据第一机器位姿数据以及第一传感器采集数据，生成所述第一点云地图；获取所述跟随者机器人的第二机器位姿数据以及第二传感器采集数据；根据所
述第二机器位姿数据以及所述第二传感器采集数据，生成所述第二点云地图。
130.可选的，初始定位位置确定模块320，用于将所述第一点云地图以及所述第二点云地图进行地面滤波处理，得到第一去噪点云地图以及第二去噪点云地图；分别对所述第一去噪点云地图以及所述第二去噪点云地图进行关键点探测，得到第一局部关键特征以及第二局部关键特征；根据所述第一局部关键特征以及所述第二局部关键特征，确定所述跟随者机器人的初始定位位置。
131.可选的，机器人集群巡检装置还包括第一位姿调整模块，用于在所述领航机器人与所述跟随者机器人通视时，获取所述领航机器人的第一当前靶标以及所述跟随者机器人的第二当前靶标，并根据所述第一当前靶标以及所述第二当前靶标，调整所述跟随者机器人与所述领航机器人的相对位姿；在所述领航机器人与所述跟随者机器人不通视时，根据所述第一点云地图以及所述第二点云地图，调整所述跟随者机器人与所述领航机器人的相对位姿。
132.可选的，机器人集群巡检装置还包括第二位姿调整模块，用于获取所述领航机器人的靶标地图，并将所述靶标地图中的靶标统一到目标坐标系下，得到修正行动轨迹；根据所述领航机器人的修正行动轨迹，修正所述领航机器人的位姿。
133.可选的，机器人集群巡检装置还包括手动操作指令下发模块，用于获取所述跟随者机器人的机器人编号；在目标跟随者机器人无法根据所述巡检指令移动到所述移动目标位置时，根据所述目标跟随者机器人的机器人编号，向所述目标跟随者机器人下发手动操作指令。
134.本发明实施例所提供的机器人集群巡检装置可执行本发明任意实施例所提供的机器人集群巡检方法，具备执行方法相应的功能模块和有益效果。
135.实施例五
136.图9示出了可以用来实施本发明的实施例的电子设备的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
137.如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
138.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
139.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如机器
人集群巡检方法。
140.在一些实施例中，机器人集群巡检方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的机器人集群巡检方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行机器人集群巡检方法。
141.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
142.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
143.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
144.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
145.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
146.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
147.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
148.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。