变电站异物识别检测方法、装置和系统与流程

1.本发明涉及目标检测技术领域，尤其是涉及一种变电站异物识别检测方法、装置和系统。


背景技术：

2.变电站是电网的重要组成的部分，是电力传输中的核心节点。变电站所处场所环境复杂，很容易受到外来异物侵袭。变电站巡检是电力巡检作业中不可或缺的一部分。典型的变电站异物包括鸟巢、废旧塑料膜、风筝、气球、蜂巢、防尘网等。变电站异物识别存在着异物种类繁多、异物目标尺度差异巨大、变电站所处场所环境复杂等问题，目前通常采用的目标检测方法大致分为one
‑
stage检测器和two
‑
stage检测器两大类。
3.然而，在变电站异物检测时，one
‑
stage检测器和two
‑
stage检测器通常仅仅使用分类任务的骨干网络，导致目标检测器对目标的定位能力较差，从而导致对变电站异物的检测准确性较低。


技术实现要素：

4.本发明的目的在于提供一种变电站异物识别检测方法、装置和系统，提高了目标检测器在变电站异物识别的准确性和鲁棒性。
5.第一方面，本发明提供一种变电站异物识别检测方法，方法通过改进的目标检测器执行；改进的目标检测器包括依次连接的骨干网络、特征融合网络和分类识别网络；方法包括：获取针对变电站的待检测图像；通过目标检测器的骨干网络对待检测图像进行特征提取，得到待检测图像的特征图；其中，骨干网络包括依次连接的第一预设个数的空洞卷积残差子网络；基于特征融合网络对待检测图像的特征图进行特征融合，得到融合特征信息；基于分类识别网络对融合特征信息进行目标检测，以对变电站的异物进行识别检测。
6.在可选的实施方式中，骨干网络还包括与第一预设个数的空洞卷积残差子网络连接的第二预设个数的普通卷积残差子网络；通过目标检测器的骨干网络对待检测图像进行特征提取，得到待检测图像的特征图的步骤，包括：通过第二预设个数的普通卷积残差子网络对待检测图像进行初始特征提取，得到初始特征图；通过第一预设个数的空洞卷积残差子网络对初始特征图进行深层特征提取，得到待检测图像的特征图；其中，待检测图像的特征图与初始特征图的尺寸相同。
7.在可选的实施方式中，第二预设个数的普通卷积残差子网络为4个；第一预设个数的空洞卷积残差子网络为2个。
8.在可选的实施方式中，通过第一预设个数的空洞卷积残差子网络对初始特征图进行目标特征提取，得到待检测图像的特征图的步骤，包括：通过2个空洞率rate＝2的空洞卷积残差子网络对初始特征图进行目标特征提取，得到待检测图像的特征图。
9.在可选的实施方式中，通过第一预设个数的空洞卷积残差子网络对初始特征图进行目标特征提取，得到待检测图像的特征图的步骤，还包括：通过每个空洞率rate＝2的空
洞卷积残差子网络和每个空洞卷积残差子网络中嵌入的注意力模块对初始特征图进行目标特征提取，得到待检测图像的特征图。
10.在可选的实施方式中，分类识别网络包括候选区域提议网络和rcnn级联网络；方法还包括：通过候选区域提议网络对融合特征信息进行正负样本的候选区域的提取，并将候选区域提取后的融合特征信息输入至rcnn级联网络。
11.在可选的实施方式中，基于分类识别网络对融合特征信息进行目标检测，以对变电站的异物进行识别检测的步骤，包括：通过rcnn级联网络对融合特征信息进行候选区域的筛选、分类和定位；基于非极大值抑制算法(non
‑
maximum suppression，nms)过滤掉重叠的目标框，以对变电站的异物进行识别检测。
12.第二方面，本发明提供一种变电站异物识别检测装置，装置包括改进的目标检测器；改进的目标检测器包括依次连接的骨干网络、特征融合网络和分类识别网络；装置包括：图像获取模块，用于获取针对变电站的待检测图像；特征提取模块，用于通过目标检测器的骨干网络对待检测图像进行特征提取，得到待检测图像的特征图；其中，骨干网络包括依次连接的第一预设个数的空洞卷积残差子网络；特征融合模块，用于基于特征融合网络对待检测图像的特征图进行特征融合，得到融合特征信息；识别检测模块，用于基于分类识别网络对融合特征信息进行目标检测，以对变电站的异物进行识别检测。
13.第三方面，本发明提供一种变电站异物识别检测系统，变电站异物识别检测系统包括如前述实施方式的变电站异物识别检测装置。
14.第四方面，本发明提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项的变电站异物识别检测方法。
15.本发明提供的变电站异物识别检测方法、装置和系统，该变电站异物识别检测方法通过改进的目标检测器执行，改进的目标检测器包括依次连接的骨干网络、特征融合网络和分类识别网络，其中，骨干网络包括依次连接的第一预设个数的空洞卷积残差子网络。该方法首先获取针对变电站的待检测图像，然后通过骨干网络对待检测图像进行特征提取，得到待检测图像的特征图，进而基于特征融合网络对目标特征图进行特征融合，得到融合特征信息，最后基于分类识别网络对融合特征信息进行目标检测，以对变电站的异物进行识别检测。上述方式在进行变电站异物检测时，通过骨干网络进行特征提取，采用空洞卷积替换了现有骨干网络的普通卷积，从而保持了深层网络在特征图上的空间分辨率，还维持了对待检测图像的高感受野，提升了目标检测器对小目标的检测能力和大目标的定位能力，进而提高了目标检测器在变电站异物识别的准确性和鲁棒性。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的一种变电站异物识别检测方法的流程示意图；
18.图2为本发明实施例提供的一种改进的目标检测器的结构示意图；
19.图3为本发明实施例提供的一种具体的改进的目标检测器的结构示意图；
20.图4为本发明实施例提供的一种空洞卷积子网络与标准残差瓶颈结构的对比示意图；
21.图5为本发明实施例提供的一种骨干网络中stage5和stage6层的具体连接方式的示意图；
22.图6为本发明实施例提供的一种ca注意力模型的结构图；
23.图7为本发明实施例提供的一种引入ca注意力机制的带空洞卷积的残差瓶颈结构示意图；
24.图8为本发明实施例提供的一种变电站异物识别检测装置的结构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
26.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
28.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
29.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
30.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
31.考虑到目前无论是one
‑
stage检测器还是two
‑
stage检测器，在应用于变电站异物检测时，两种检测器往往使用的骨干网络(backbone)都是基于imagenet数据集为分类任务设计的骨干网络(如vgg、resnet)。然而，分类任务不同于目标检测，它既不需要识别检测目标的语义特征，也不需要对目标进行定位。因此在进行变电站异物识别检测时，如若仅仅使用为分类任务的设计的骨干网络，则目标检测器对目标的定位能力较差。基于此，本发明实
施例提供了一种变电站异物识别检测方法、装置和系统，提高了目标检测算法在变电站异物识别的准确性和鲁棒性。
32.为便于理解，首先对本发明实施例提供的一种变电站异物识别检测方法进行详细说明，参见图1所示的一种变电站异物识别检测方法的流程示意图，该方法通过改进的目标检测器执行。其中，该改进的目标检测器包括依次连接的骨干网络、特征融合网络和分类识别网络，参见图2所示。该方法在实际执行时，主要包括以下步骤s102至步骤s108：
33.步骤s102，获取针对变电站的待检测图像。
34.上述针对变电站的待检测图像可以包括在变电站场所采集的巡检图像，诸如通过变电站摄像头或巡检机器人采集的巡检图像。待检测图像的获取方式可以为当变电站摄像头或巡检机器人采集到的巡检图像，目标检测器实时进行获取；也可以预先设定获取时间间隔，每隔一个获取时间间隔进行一次统一的获取。本实施例对于待检测图像进行获取的方式，可以根据实际需求进行选择，此处不作具体限定。
35.步骤s104，通过目标检测器的骨干网络对待检测图像进行特征提取，得到待检测图像的特征图。
36.上述骨干网络可以为基于detnet改进的自底向上的架构的骨干网络，该骨干网络可以包括依次连接的第二预设个数的普通残差模块子网络，在实际应用中，该第二预设个数诸如可以为4个。同时，该骨干网络还包括与第二预设个数连接的第一预设个数的嵌入ca注意力机制的空洞卷积残差模块子网络，该骨干网络主要用来提取输入图像(也即待检测图像)的特征，得到待检测图像的特征图。特征图主要包括图像的语义和空间位置信息。
37.步骤s106，基于特征融合网络对待检测图像的特征图进行特征融合，得到融合特征信息。
38.由于特征金字塔网络(feature pyramid networks，fpn)用作目标检测时，可以在增加较小的计算量的情况下，更好的处理目标检测中的多尺度变化带来的问题，因此上述特征融合网络诸如可以为fpn。可以理解的是，骨干网络包括多个子网络(也可以理解为多个不同大小的卷积层堆叠而成)可以输出不同尺度的特征层，因此输出的目标特征图可以对应有不同尺度的特征信息。特征融合网络通过对目标特征图的不同尺度进行特征融合，得到融合不同尺度特征层的特征信息。
39.步骤s108，基于分类识别网络对融合特征信息进行目标检测，以对变电站的异物进行识别检测。
40.上述分类识别网络诸如可以为rcnn级联网络。在进行目标检测时，可以首先使用rpn网络对上述fpn网络输出的特征层生成目标候选区域，然后使用rcnn级联网络对rpn输出的候选框进行逐级的分类打分和回归定位，从而实现变电站的异物识别检测。
41.本发明实施例提供的变电站异物识别检测方法，在进行变电站异物检测时，通过骨干网络进行特征提取，采用空洞卷积替换了现有骨干网络的普通卷积，从而保持了深层网络在特征图上的空间分辨率，还维持了对待检测图像的高感受野，提升了目标检测器对小目标的检测能力和大目标的定位能力，进而提高了目标检测器在变电站异物识别的准确性和鲁棒性。
42.为便于理解，本实施例提供了一种改进的目标检测器的具体结构，参见图3所示，该改进的目标检测器为改进的cascade
‑
rcnn分类识别网络，具体结构可分为三层：第一层
为基于detnet改进的自底向上的特征提取骨干网络，第二层为自顶向下的fpn特征金字塔融合模块，最后一层包括rpn网络和级联的rcnn网络(也即rcnn级联网络)。其中，骨干网络是一种基于detnet网络改进的特征提取网络，包括依次连接第二预设个数的普通卷积残差子网络，以及与第二预设个数的普通卷积残差子网络连接的第一预设个数的嵌入ca注意力机制的空洞卷积残差子网络。图3中示出了第二预设个数的普通卷积残差子网络为4个，第二预设个数的空洞卷积子网络为2个的骨干网络，其中，普通卷积残差子网络模块包括conv1、conv2_x、conv3_x、conv4_x；空洞卷积子网络包括conv5_x和conv6_x。骨干网络在第5个stage(即图3中的conv5_x)是以带空洞卷积(dilated convolutional neural networks，dcnn)的瓶颈结构(bottleneck)堆叠而成，然后采用和conv5_x层同样的瓶颈结构在conv5_x之后增加conv6_x，从而保证骨干网络输出特征图尺寸保持了同stage4(也即conv4_x)的输出大小，即为网络输入尺寸(也即待检测图像)大小的1/16。
43.在一种实施方式中，当采用的空洞卷积子网络为两个时，两个空洞卷积子网络可以通过dilateted bottelneck a和dilateted bottelneck b表示。参见图4所示，resnet标准残差瓶颈结构参见图4中c，dilateted bottelneck a和dilateted bottelneck b为带空洞卷积的残差瓶颈结构，均采用空洞率rate＝2的3x3空洞卷积替换了原本3x3的普通卷积。通过在骨干网络中替换普通卷积为空洞卷积，可以在保持大的感受野的同时，避免了在深层网络堆叠此结构层耗费的运算内存和时间上的成本。
44.在输入fpn网络时，stage6的输出特征直接用作fpn网络的p6层，避免了现有方案的原始网络中原fpn从p5下采样得到p6带来的精度损失。在一种实施方式中，改进的detnet的stage5和stage6层的具体连接方式可以参见图5所示。
45.在通过骨干网络对待检测图像进行特征提取，得到目标特征图时，可以通过第二预设个数的普通卷积残差子网络对待检测图像进行初始特征提取，得到初始特征图，然后通过第一预设个数的空洞卷积子网络对初始特征图进行目标特征提取，得到目标特征图。
46.在具体实施时，基于上述介绍的具体结构，可以将待检测图像输入至目标检测器的骨干网络，并按照conv1、conv2_x、conv3_x、conv4_x、conv5_x和conv6_x的顺序进行特征图的提取。其中，通过conv1、conv2_x、conv3_x、conv4_x依次进行特征提取，得到由conv4_x输出的初始特征图，然后将该初始特征图输入至conv5_x，并进一步通过conv6_x输出目标特征图。并且，conv5_x和conv6_x可以设置为空洞率rate＝2的空洞卷积层，因此可以通过2个空洞率rate＝2的空洞卷积层对初始特征图进行目标特征提取，得到目标特征图。由于conv5_x和conv6_x为空洞卷积子网络，因此通过骨干网络输出的目标特征图与通过conv4_x初始的初始特征图的尺寸相同。
47.进一步，本实施例的空洞卷积子网络还可以在图4所示的带空洞卷积的残差瓶颈结构中引入了一种新的嵌入位置信息的高效注意力机制模块coordinate attention(ca)，参见图6所示的ca注意力模型的结构图以及图7所示的带空洞卷积的残差瓶颈结构引入ca注意力机制的结构示意图。
48.对于ca模型给定的输入特征图其中c,h,w分别表示特征图的通道数量，以及在空间上的高和宽。“x average pool”和“y average pool”指1维水平方向全局池化算子和1维垂直方向的全局池化算子，特征图经由两类算子分别输出大
小为c
×
h
×
1和c
×1×
w的特征张量。在水平和垂直方向的全局池化算子分别在水平空间方向捕获了长距离信息和垂直空间方向上的特征依赖关系，这有助于网络更好的定位目标。通过在骨干网络的带空洞卷积的残差瓶颈结构a和b中分别嵌入ca模块(嵌入位置参见图7)，可以进一步提升对变电站异物目标检测的精度。
49.在引入ca注意力机制后，上述在通过第一预设个数的空洞卷积子网络对初始特征图进行目标特征提取，得到目标特征图的时，则通过每个空洞率rate＝2的空洞卷积子网络和每个空洞卷积子网络连接的注意力模型对初始特征图进行目标特征提取，得到目标特征图。相比于其他注意力机制，ca不仅更高效而且计算负载更低，显著的改善了整个分类识别网络的识别精度。
50.在一种实施方式中，所述分类识别网络包括候选区域提议网络(也即rpn网络)和rcnn级联网络，上述特征金字塔fpn输出的融合特征信息可以首先输入至rpn网络，分别处理fpn的p2、p3、p4、p5、p6特征层的输出，通过候选区域提议网络对融合特征信息进行正负样本的候选区域的提取，经由roi align统一候选区域大小后，再将大小相等的候选区域输入至rcnn级联网络。
51.进一步，通过rcnn级联网络逐级检测最后使用非极大值抑制算法(non
‑
maximum suppression，nms)过滤掉重叠的目标框，得到最终的检测结果，以对变电站的异物进行识别检测。在通过rcnn级联网络进行检测时，可以采用使用3层级联的rcnn检测器，级联的检测器(也即rcnn级联网路)交并比iou(intersection over union,iou)阈值可以分别设置为0.5、0.6、0.7，然后一步一步对候选区域进行准确的定位。在实际应用中，也可以根据实际的情况进行rcnn检测器的调整。通过使用设置了不同iou阈值的rcnn逐级的对rpn输出的候选框进行重采样以更好的进行边框回归和分类得分的计算，最后使用nms或solft
‑
nms过滤掉重叠的目标框，得到最终的检测结果。
52.本实施例采用基于resnet改进的专用于目标检测的detnet作为检测网络的骨干网络，并利用空洞卷积构建了新的瓶颈结构，替换了原resnet50在stage5的普通卷积瓶颈结构层，同时以相同的网络构建方式增加了stage6。detnet网络新改进和增加的stage5和stage6维持了网络在stage4的16倍下采样率，这样既保持了网络特征图的高分辨率同时又使网络的深层阶段保持了对原始输入图像大的感受野。并且，在detnet网络的stage5和stage6的所有的带空洞的残差瓶颈结构引入了coordinate attention注意力模块，相比于其他注意力机制，ca不仅更高效而且计算负载更低，显著的改善了整个检测器的性能。
53.综上所述，本实施例采用的网络第一层的骨干网络采用了融合coordinate attention模块改进后的detnet网络，网络的第二层使用了特征金字塔网络(fpn)进行多尺度的特征融合，网络的第三层首先使用共享网络参数的rpn网络对fpn的各个输出特征图进行候选区域的提取，然后使用级联的rcnn网络逐级进行目标框的回归和目标分类得分的计算，经由nms过滤重叠的目标框以得到最终的检测结果，该分类识别网络对变电站的各类异物目标均有较好的检测性能。
54.针对上述变电站异物识别检测方法，本发明实施例还提供了一种变电站异物识别检测装置，参见图8所示的一种变电站异物识别检测装置的结构示意图，装置包括改进的目标检测器；改进的目标检测器包括依次连接的骨干网络、特征融合网络和分类识别网络；该装置主要包括以下部分：
55.图像获取模块802，用于获取针对变电站的待检测图像；
56.特征提取模块804，用于通过目标检测器的骨干网络对待检测图像进行特征提取，得到待检测图像特征图；其中，骨干网络包括依次连接的第一预设个数的空洞卷积残差子网络；
57.特征融合模块806，用于基于特征融合网络对待检测图像特征图进行特征融合，得到融合特征信息；
58.识别检测模块808，用于基于分类识别网络对融合特征信息进行目标检测，以对变电站的异物进行识别检测。
59.本发明实施例提供的变电站异物识别检测装置，在进行变电站异物检测时，通过骨干网络进行特征提取，采用空洞卷积替换了现有骨干网络的普通卷积，从而保持了深层网络在特征图上的空间分辨率，还维持了对待检测图像的高感受野，提升了目标检测器对小目标的检测能力和大目标的定位能力，进而提高了目标检测器在变电站异物识别的准确性和鲁棒性。
60.在一种实施方式中，骨干网络还包括与第一预设个数的空洞卷积残差子网络连接的第二预设个数的普通卷积残差子网络；上述特征提取模块804，还用于通过第二预设个数的普通卷积残差子网络对待检测图像进行初始特征提取，得到初始特征图；通过第一预设个数的空洞卷积残差子网络对初始特征图进行目标特征提取，得到待检测图像的特征图；其中，待检测图像的特征图与初始特征图的尺寸相同。
61.在一种实施方式中，第二预设个数的普通卷积残差子网络为4个；第一预设个数的空洞卷积残差子网络为2个。
62.在一种实施方式中，特征提取模块804，还用于通过2个空洞率rate＝2的空洞卷积残差子网络对初始特征图进行目标特征提取，得到待检测图像的特征图。
63.在一种实施方式中，特征提取模块804，还用于通过每个空洞率rate＝2的空洞卷积残差子网络和每个空洞卷积残差子网络中嵌入的注意力模块对初始特征图进行目标特征提取，得到待检测图像的特征图。
64.在一种实施方式中，分类识别网络包括候选区域提议网络和rcnn级联网络；上述装置还包括：区域提取模块，用于通过候选区域提议网络对融合特征信息进行正负样本的候选区域的提取，并将候选区域提取后的融合特征信息输入至rcnn级联网络。
65.在一种实施方式中，上述识别检测模块808，还用于通过rcnn级联网络对融合特征信息进行筛选、分类和定位；基于非极大值抑制算法(non
‑
maximum suppression，nms)过滤掉重叠的目标框，以对变电站的异物进行识别检测。
66.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
67.本发明实施例还提供了一种变电站异物识别检测系统，变电站异物识别检测系统包括前述实施例的变电站异物识别检测装置。为简要描述，系统实施例部分未提及之处，可参考前述装置实施例中相应内容。
68.本发明实施例所提供的变电站异物识别检测方法、装置和系统的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的
方法，具体实现可参见方法实施例，在此不再赘述。
69.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
70.本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
71.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
72.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。