面向配电房智能值守作业的机器人视觉系统和方法与流程

1.本发明示例性实施例涉及电力技术领域，尤其涉及一种面向配电房智能值守作业的机器人视觉系统和方法。


背景技术：

2.数目庞大、地域分布广泛的配电房是我国供电系统中的重要场景，随着工业用电和生活用电需求飞速增长，电网配网的运行和维护需求也日益增长。然而，国内多数供电公司仍然延续上世纪“人力为主”的传统运维模式：配电运检室发出调令后，由运维人员赶赴各处配电房现场进行人工巡视和操作，造成极大的人力物力的浪费。
3.随着机器人和人工智能技术的不断发展，以机器人为代表的智能值守作业模式在电力系统中逐渐受到越来越多的关注和探索。通过直接部署于站所内的机器人代替人工进行自主作业，可以增强配网运维的自动化程度，提高配网的运维效率，降低人工操作时的风险，是实现装备智能化、作业标准化和现场可视化的有效途径和发展趋势。
4.视觉系统是机器人感知周围环境，获取设备及作业中有效信息的关键系统。目前已有部分利用机器视觉对配电设备上的元件进行识别的相关应用，如国家知识产权局于2018年8月23日公布的专利号为cn108447056a，名称为“基于几何特征聚类划分的配电柜圆形压板状态识别方法”及2020年6月8日公布的专利号为cn111260788a，名称为“一种基于双目视觉的配电柜开关状态识别方法”，但它们功能较为单一，且往往只能针对特定元件进行识别，扩展性较差，无法满足机器人智能值守作业的复杂需求。
5.基于上述，业内亟需能够解决上述问题的配电房机器人及相应的值守方法，目前尚无能够解决上述问题的方法或装置出现。


技术实现要素：

6.有鉴于此，本发明示例性实施例的目的在于提出一种面向配电房智能值守作业的机器人视觉系统和方法，以解决配电房的值守机器人的通用识别效果不佳问题。
7.基于上述目的，本发明示例性实施例提供了一种面向配电房智能值守作业的机器人视觉系统，所述系统包括：
8.双目立体定位模块、图像目标检测模块以及动作指引模块；
9.所述图像目标检测模块用于根据接收的任务指令启动所述双目立体定位模块和所述图像目标检测模块；
10.所述双目定位模块根据所述任务指令的具体内容对目标设备进行查询和定位，并根据所述查询和定位的结果驱动机器人移动至所述目标设备处；
11.所述图像目标检测模块通过机器人的双目摄像装置对所述目标设备的图像进行检测和识别，得到检测识别结果；
12.所述动作指引模块基于所述检测识别结果以及所述任务指令，驱使所述机器进行与所述任务指令相适应的机械操作；
13.所述系统还包括：
14.识别学习模块，所述识别学习模块用于对获取的所述目标设备的图像进行特征识别，建立图像特征与检测识别结果之间的学习模型，并进行迭代训练，以在所述图像目标检测模块得到所述目标设备的图像时，通过所述学习输出所述检测识别结果。
15.结合上述说明，在本发明实施例另一种可能的实施方式中，所述系统还包括：
16.视觉决策模块，所述视觉决策模块用于接收视觉处理任务，并将所述视觉处理任务解析为任务指令，所述任务指令被用于分别发送至指针仪表处理模块、双目立体定位模块、图像目标检测模块以及动作指引模块，以进行以下操作的至少一种：
17.所述指针仪表处理模块执行所述任务指令的指针仪表处理内容；或
18.所述双目立体定位模块执行所述任务指令的双目摄像定位内容；或
19.所述图像目标检测模块执行所述任务指令的目标图像检测内容；或
20.所述动作指引模块执行所述任务指令中的动作指引内容；
21.且所述指针仪表处理模块、双目立体定位模块、图像目标检测模块以及动作指引模块执行所述任务指令时均查询当前的动作或操作是否与所述任务指令相匹配，当不匹配时拒绝执行所述动作或操作，当匹配时执行所述动作或操作。
22.结合上述说明，在本发明实施例另一种可能的实施方式中，所述系统还包括：
23.指针仪表处理模块，用于接收所述图像目标检测模块的检测识别结果，根据所述检测识别结果对目标设备的仪表指针进行识读动作，并将识读结果发送至所述视觉决策模块。
24.结合上述说明，在本发明实施例另一种可能的实施方式中，所述双目立体定位模块分别订阅所述任务指令、所述检测识别结果和目标设备待操作元件的图像感兴趣区域坐标，求解目标设备待操作元件的空间位姿信息，通过所述空间位姿信息驱使机器人机械臂的动作；
25.所述视觉决策模块还用于对所述检测识别结果以及指针仪表示数的识读结果和目标设备待操作元件的三维空间位姿定位进行汇总，并向机器人的上位机系统返回视觉任务处理结果。
26.结合上述说明，在本发明实施例另一种可能的实施方式中，所述视觉决策模块、双目立体定位模块、图像目标检测模块以及动作指引模块之间采用套接字进行数据通讯。
27.结合上述说明，在本发明实施例另一种可能的实施方式中，所述目标设备的图像通过机器人搭载的双目相机进行采集。
28.结合上述说明，在本发明实施例另一种可能的实施方式中，所述识别学习模块采用yolov3、ssd或faster
‑
rcnn中的一种卷积神经网络。
29.结合上述说明，在本发明实施例另一种可能的实施方式中，所述图像目标检测模块还用于将图像压缩后通过网络传输到监控中心后台供实时监控。
30.结合上述说明，在本发明实施例另一种可能的实施方式中，所述动作指引模块还用于：
31.对接收的任务指令进行任务解析，得到任务执行顺序以及每一任务执行顺序所对应的模块，按照所述任务执行顺序向对应的模块下达解析后的任务分析指令，以分别使对应的模块执行所述解析后的任务分析指令。
32.第二方面，本发明还提供了一种面向配电房智能值守作业的机器人视觉决策方法，所述方法包括：
33.根据接收的任务指令进行目标设备进行查询和定位，获取目标设备的位置信息；
34.根据所述位置信息对机器人进行驱动，使得当机器人驱动至目标设备的位置后采集目标的图像信息；
35.对所述图像信息进行检测和识别，得到检测识别结果，并结合所述任务指令和所述检测识别结果，驱动机器人进行机械操作；
36.其中，对所述图像信息进行检测和识别时，基于获取的所述目标设备的图像信息进行特征识别，建立图像特征与检测识别结果之间的学习模型，并进行迭代训练，以在得到所述目标设备的图像信息时，通过所述学习模型输出所述检测识别结果。
37.从上面所述可以看出，本发明示例性实施例提供的面向配电房智能值守作业的机器人视觉系统和方法，功能全面、通用性好，可以提供机器人在配电房自主巡视和操作过程中所需的各类设备元件的视觉信息，以及其中需操作元件的空间位姿信息，可供后台远程监控机器人作业进程，同时还能够自我学习，使得输出的结果越来越准确。
附图说明
38.为了更清楚地说明本发明示例性实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明示例性实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明示例性实施例面向配电房智能值守作业的机器人视觉系统的模块组成示意图；
40.图2为本发明示例性实施例的系统处理视觉任务时的流程示意图；
41.图3为本发明示例性实施例的配电房机器人智能值守作业流程示意图；
42.图4为本发明示例性实施例的方法基本流程示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
44.需要说明的是，除非另外定义，本发明示例性实施例使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明示例性实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
45.本发明为了实现机器人对配电设备元件的通用视觉识别感知，赋能智能值守作业而提出一整套完整的机器人视觉系统和方法。该面向配电房智能值守作业的机器人视觉系
统和方法以软件功能包的形式部署在配电站作业机器人系统中，通过对机器人搭载的双目相机采集到的双目rgb图像进行图像处理，输出机器人巡检和操作作业所需的配电设备上各类元件信息(如指示灯、开关、仪表、手车转轴等)、所在图像位置的局部roi(感兴趣的图像坐标(roi－region of interesting)以及目标设备待操作元件(开关、手车转轴)相对于机器人机械手坐标系的空间位姿，使机器人能够准确获悉各元件视觉状态并能对目标设备待操作元件进行直接操作，且新加入了识别学习模块，使得对于下发的任务得到更加准确的执行。
46.本发明所述的视觉系统采用模块化设计，由各个相互独立的软件功能模块组成，结合图1所示，其中包括视觉决策模块，图像采集和发布模块，图像目标检测模块，指针式仪表处理模块，以及双目立体定位模块，各模块之间采用套接字(socket)进行数据通信，套接字的类型也就分为流套接字和数据报套接字，流套接字提供的是一个有序、可靠、双向字节流的连接，因此发送的数据可以确保不会丢失、重复或乱序到达，而且它还有一定的出错后重新发送的机制；数据报套接字，它不需要建立连接和维持一个连接，它们在af_inet中通常是通过udp/ip实现的。它对可以发送的数据的长度有限制，数据报作为一个单独的网络消息被传输，它可能丢失、复制或错乱到达，udp不是一个可靠的协议，但是它的速度比较高，因为它并不需要总是要建立和维持一个连接，本发明示例性实施例在具体实施时，可根据需要采取确定了特定协议的套嵌字通信。
47.本发明示例性实施例的一种具体的实施方式中，本发明的系统包括：
48.视觉决策模块、图像目标检测模块、双目立体定位模块和识别学习模块，以及更加细分的图像采集和发布模块和指针式仪表处理模块等。
49.视觉决策模块是视觉系统和机器人总的决策系统之间的中间层，与机器人通讯连接的上位机可视为其上位机系统，或称之为总的决策系统，负责处理机器人决策系统下发的视觉任务指令，再将任务分解给后续相应功能模块执行并收集反馈，最终将结果汇总成统一的数据格式返回给机器人决策系统。
50.本发明示例性实施例的视觉决策模块，用于接收视觉处理任务，并将所述视觉处理任务解析为任务指令，所述任务指令被用于分别发送至指针仪表处理模块、双目立体定位模块、图像目标检测模块以及动作指引模块，以进行以下操作的至少一种：
51.所述指针仪表处理模块执行所述任务指令的指针仪表处理内容；或
52.所述双目立体定位模块执行所述任务指令的双目摄像定位内容；或
53.所述图像目标检测模块执行所述任务指令的目标图像检测内容；或
54.所述动作指引模块执行所述任务指令中的动作指引内容；
55.且所述指针仪表处理模块、双目立体定位模块、图像目标检测模块以及动作指引模块执行所述任务指令时均查询当前的动作或操作是否与所述任务指令相匹配，当不匹配时拒绝执行所述动作或操作，当匹配时执行所述动作或操作。
56.所述任务指令包括多项具体内容，例如针对指针仪表是否显示正常和正理内容，使双目摄像机进行具体位置定位的操作内容，对目标设备进行图像检测的具体内容以及针对于检测识别结果所进行的具体的动作指引内容，等等。
57.上述各模块可根据接收的视觉决策模块发送的任务指令进行解析以得到各模块所需要进行的具体操作内容，这一过程视觉决策模块无需对各模块分别发送不同的任务指
令，而仅需发送一个任务指令即可，这种方式精简了任务处理的流程，且大幅减少了视觉决策模块发现任务的数量，使得系统整体的运行更加稳定和高效。
58.图像采集与发布模块负责从机器人的双目相机获取图像并发布，供视觉系统的其他模块订阅，同时也将图像压缩后通过网络传输到监控中心后台供实时监控。
59.本发明示例性实施例的实施方式中，根据图像的不同，可选择对其它模块中的一种或两种进行选择性的发送，当获取的图像为开关时，则对于仪表指针处理模块则无需发送对应的任务指令，这一方式有助于减少模块之间的处理流程，防止机器人宕机情况的发生。
60.图像目标检测模块在运行时订阅前两者发布的任务指令以及相机图像，通过卷积神经网络(目前采用yolov3，也可选用ssd、faster
‑
rcnn等网络)对图像中的设备元件进行目标检测，将结果(类型和roi的四个顶点)发布，供视觉决策模块、指针仪表处理模块以及双目立体定位模块订阅。
61.所述识别学习模块可与所述图像目标检测模块配套存在，也在内置于所述图像目标检测模块，或其它任务一个模块中，其包括了数据集预处理程序和模型的训练程序，在部署阶段使用，识别学习的过程可包括：
62.建立imagenet的图像识别数据集，包括各个机器人在配电房中检测识别的目标设备的图片；
63.对所述图片的特征进行进行分类和标记，以对每一所述图片打上对应的标签；
64.对所述图片和标签进行多次迭代训练，以使得图片的特征和输出结果之间建立一系列的变换，并使之具有对应性；
65.可通过非监督学习的方式确定图片特征与输出结果之间的规律，并使输出结果(即检测识别结果)的正确性越来越高，以实现识别学习过程。
66.所述识别学习模块通过一定的神经网络模块实现越来越准确的检测结果的输出，从而使得后续的任务指令解析时能够驱使机器人作出正确的动作，进一步有助于快速解决配电房出现的问题。
67.指针仪表处理模块订阅前三者发布的任务指令、相机图像和指针表roi(region of interest，感兴趣区域)坐标，对仪表指针角度进行识读，将结果发布供视觉决策模块订阅。
68.双目立体定位模块同样订阅前三者发布的任务指令、相机图像和目标设备待操作元件roi坐标，通过特征提取和双目立体匹配求解目标设备待操作元件的空间位姿信息，引导机器人机械臂进行操作。
69.进一步地，在投入运行前，对于机器人实际部署的配电房，还需人工采集并标注制作元件检测数据集，通过本发明图像目标检测模块提供的数据集预处理程序和模型的训练程序进行自动化模型训练。特别的，如果该配电站设备批次已有相应训练好的模型，即可直接复用，仅在需部署的站所新采用了无对应模型的一批设备时进行一次数据采集、标注和训练。
70.具体地，如双目相机获取的目标设备的开关为“关”状态，且图像符合“关”状态特征的图像，则可经过匹配确定目标设备处于“关”状态，并进而使得所述机器人根据确定的任务指令，将所述目标设备从“关”状态操作变为“开”状态。
71.本发明实现的视觉系统软件部署于linux系统上，基于机器人操作系统(robot operating system,ros)实现多进程分布式管理和进程间消息通信。实施时，要求配电房作业机器人系统同样基于ros框架，需要将本视觉系统功能包放入机器人系统工作空间并编译生成可执行程序。机器人运行时，通过ros的节点启动机制，启动本视觉系统相关进程，视觉系统开始工作。
72.图像采集与发布模块在机器人作业过程中保持运行，从双目相机获取图像并发布，同时实时传输图像回后台监控中心，以使得监控中心能够对各个地点的具体配电房的相关数据和运行状态得到更加可靠的了解。
73.本发明所述的面向配电房智能值守作业的机器人视觉系统的处理流程如图2所示，具体步骤如下：
74.步骤1，机器人决策系统向视觉系统发布视觉处理任务，视觉决策模块接到任务后进行解析，在视觉系统内发布任务指令；
75.步骤2，各处理模块订阅视觉决策模块发布的任务指令，指令中涉及的处理模块订阅图像采集与发布模块发布的全局图像；
76.步骤3，图像目标检测模块调用训练好的深度学习模型完成图像检测，发布图像中的目标元件信息及其包围盒坐标；
77.如任务指令涉及指针仪表，指针仪表处理模块订阅图像目标检测模块发布的仪表包围盒坐标，结合全局图像提取只包含仪表的局部roi，在其中进行仪表示数识读，并将结果发布；
78.如任务指令涉及目标设备待操作元件，双目立体定位模块订阅图像目标检测模块发布的元件包围盒坐标，结合全局图像提取只包含目标设备待操作元件的局部roi，在其中进行双目立体视觉定位，求解并发布操作时所需的机械臂空间位姿；
79.步骤4，视觉决策模块订阅各处理模块发布的处理结果，打包成整体的视觉系统任务处理结果返回给机器人决策系统。
80.机器人部署本发明所述的视觉系统后，在配电房进行智能值守作业的作业方法如图3所示，具体步骤如下：
81.步骤1，运维人员在后台下达作业任务，通过电力专网传输给机器人；
82.步骤2，机器人接到作业任务后，由机器人决策系统进行任务解析，维护作业流程，按照执行顺序依次将指令下达给各功能模块，同时开启视觉系统实时图像传输；
83.步骤3，机器人移动底盘系统利用激光slam导航(simultaneous localization and mapping，即时定位与地图构建)运动到目标配电柜前方；
84.步骤4，机器人机械臂展开到预设拍摄位置，机器人决策系统向视觉系统发布视觉处理任务；
85.步骤5，视觉系统根据任务指令进行视觉识别、定位等处理，将结果返回给机器人系统决策模块；
86.步骤6，根据视觉系统返回结果，机器人决策系统要求机器人操作执行系统完成相应操作动作；
87.步骤7，每步操作流程完成后，机器人决策系统要求机械臂举升，视觉系统再次进行视觉识别处理，核验操作结果已达到目标；
88.步骤8，重复步骤4～7，直到当前配电柜任务全部执行完成；
89.步骤9，机器人机械臂收回，移动底盘系统导航到下一个目标配电柜执行对应任务，重复步骤3～8；
90.步骤10，全部作业任务完成，机器人回到起始位置待命。
91.本发明示例性实施例的实施方式中，还提供了一种面向配电房智能值守作业的机器人视觉决策方法，可用于前述的机器人系统中，以使得机器人按照预设的方法运行，结合图4所示，所述方法包括：
92.在步骤410中，根据接收的任务指令进行目标设备进行查询和定位，获取目标设备的位置信息；
93.在步骤420中，根据所述位置信息对机器人进行驱动，使得当机器人驱动至目标设备的位置后采集目标的图像信息；
94.在步骤430中，对所述图像信息进行检测和识别，得到检测识别结果，并结合所述任务指令和所述检测识别结果，驱动机器人进行机械操作；
95.其中，所述步骤430还包括：步骤431：对所述图像信息进行检测和识别时，基于获取的所述目标设备的图像信息进行特征识别，建立图像特征与检测识别结果之间的学习模型，并进行迭代训练，以在得到所述目标设备的图像信息时，通过所述学习模型输出所述检测识别结果。
96.本发明示例性实施例的一种实施方式中，所述方法还包括：接收视觉处理任务，并将所述视觉处理任务解析为任务指令，所述任务指令被用于分别发送至指针仪表处理模块、双目立体定位模块、图像目标检测模块以及动作指引模块，以使得进行以下操作的至少一种：
97.使所述指针仪表处理模块执行所述任务指令的指针仪表处理内容；或
98.使所述双目立体定位模块执行所述任务指令的双目摄像定位内容；或
99.使所述图像目标检测模块执行所述任务指令的目标图像检测内容；或
100.使所述动作指引模块执行所述任务指令中的动作指引内容；
101.且所述指针仪表处理模块、双目立体定位模块、图像目标检测模块以及动作指引模块执行所述任务指令时均查询当前的动作或操作是否与所述任务指令相匹配，当不匹配时拒绝执行所述动作或操作，当匹配时执行所述动作或操作。
102.本发明示例性实施例的一种实施方式中，所述方法还包括：接收所述检测识别结果，根据所述检测识别结果对目标设备的仪表指针进行识读动作，并将识读结果发送至机器人的视觉决策模块。
103.本发明示例性实施例的一种实施方式中，所述方法还包括：
104.由双目立体定位模块分别订阅所述任务指令、所述检测识别结果和目标设备待操作元件的图像感兴趣区域坐标，求解目标设备待操作元件的空间位姿信息，通过所述空间位姿信息驱使机器人机械臂的动作；
105.通过所述视觉决策模块对所述检测识别结果以及指针仪表示数的识读结果和目标设备待操作元件的三维空间位姿定位进行汇总，并向机器人的上位机系统返回视觉任务处理结果。
106.本发明示例性实施例的一种实施方式中，所述方法还包括：
107.对接收的任务指令进行任务解析，得到任务执行顺序以及每一任务执行顺序所对应的模块，按照所述任务执行顺序向对应的模块下达解析后的任务分析指令，以分别使对应的模块执行所述解析后的任务分析指令
108.本发明的方法，使得配电房的机器人能够运行上述系统。
109.本发明与现有用于配电房设备元件的视觉识别技术相比具有以下优势：
110.一、所述的视觉系统是一套完整的设备元件视觉识别和定位方案，可以提供机器人在配电房自主巡视和操作过程中所需的各类设备元件的视觉信息，以及其中需操作元件的空间位姿信息，同时还可供后台远程监控机器人作业进程。极大地增强了机器人作业能力和可完成的任务范畴，同时信息的丰富也有助于操作安全性的提升。
111.二、所述的图像目标检测模块采用深度学习目标检测技术对设备面板上的不同元件进行统一识别检测，无需针对特定元件单独设计特征匹配算法，通用性和扩展性强；对于不同配电房，只需重新训练该配电房元件图像数据集即可完成适配。
112.三、所述的视觉系统设计高度模块化，各功能相互解耦且为独立进程，基于套接字(socket)进行数据通信，相互之间不存在方法调用，稳定性好，且便于功能灵活组合和扩展。
113.四、对于图像检测识别过程中采用了识别学习模块，通过神经网络进行训练以提高对获取的图像信息的检测识别结果的准确率，更进一步提高了视觉处理效率。
114.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
115.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明示例性实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
116.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明示例性实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
117.另外，为简化说明和讨论，并且为了不会使本发明示例性实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明示例性实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明示例性实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明示例性实施例。因此，这些描述应被认为是说明性的而不是限制性的。
118.尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例
如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
119.本发明示例性实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明示例性实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。