一种电网异物检测识别方法及装置与流程

1.本技术涉及激光清除器异物识别技术领域，尤其涉及一种电网异物检测识别方法及装置。


背景技术：

2.近年来，随着电网建设的步伐加快，建设在市郊城镇的架空输电线路越来越多。架空输电线路很容易被异物缠绕，如风筝、风筝线、农用塑料布、遮阳网等。架空输电线路上的异物悬挂极易造成导地线的单相接地、相间短路等跳闸事故，严重影响电网的安全稳定运行。
3.现有技术中，一般会采用视频监控的方式对架空输电线路中的电网异物进行识别。目前视频监控方法首先获取异物图像，然后对前景和背景进行建模，再针对性的提取具有区分度的电网异物与背景特征，最后通过分类器对提取的特征进行分类，从而实现对电网异物的检测识别。
4.但是视频监控的方式鲁棒性较差，在变换使用场景时，电网异物检测识别的精度很低。例如将使用场景由变电站换为其他场景时会导致方法检测精度的急剧下降，当摄像头采集的图片由近景换为远景时也会导致识别精度降低。


技术实现要素：

5.本技术公开了一种电网异物检测识别方法及装置，用于解决现有技术对电网异物的检测识别中，视频监控的方式鲁棒性较差，在变换使用场景时，电网异物检测识别的精度很低。例如将使用场景由变电站换为其他场景时会导致方法检测精度的急剧下降，当摄像头采集的图片由近景换为远景时也会导致识别精度降低的技术问题。
6.本技术第一方面公开了一种电网异物检测识别方法，包括：
7.获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像；
8.针对任一异物图像，获取所述任一异物图像多个特征图；
9.根据所述多个特征图，确定所述任一异物图像对应的区域建议框；
10.获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本；所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框；
11.获取所述正样本的区域建议框，以及获取所述正样本的特征图；
12.根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果；
13.根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息；
14.获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量；
15.根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框；
16.根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息；
17.根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线；
18.根据所述目标灼烧线对异物进行灼烧清除。
19.可选的，所述根据所述多个特征图，确定所述任一异物图像对应的区域建议框，包括：
20.根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框；
21.根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
22.可选的，所述根据所述电网悬挂异物数据集、所述默认框和预设的真实样本值，确定正样本和负样本，包括：
23.获取预设的交并比阈值；
24.根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本；若否，则确定为负样本。
25.可选的，所述根据所述目标灼烧线对异物进行灼烧清除，包括：
26.根据所述异物信息，确定该类异物熔断时所需最小激光功率密度；
27.根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
28.可选的，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
29.本技术第二方面公开了一种电网异物检测识别装置，所述电网异物检测识别装置应用于本技术第一方面公开的电网异物检测识别方法，所述电网异物检测识别装置包括：
30.异物数据集获取模块，用于获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像；
31.特征图获取模块，用于针对任一异物图像，获取所述任一异物图像多个特征图；
32.区域建议框确定模块，用于根据所述多个特征图，确定所述任一异物图像对应的区域建议框；
33.样本划分模块，用于获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本；所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框；
34.正样本参数模块，用于获取所述正样本的区域建议框，以及获取所述正样本的特征图；
35.掩膜结果确定模块，用于根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果；
36.信息获取模块，用于根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息；
37.偏移量确定模块，用于获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量；
38.目标候选框确定模块，用于根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框；
39.目标信息获取模块，用于根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息；
40.参考线确定模块，用于根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线；
41.异物清除模块，用于根据所述目标灼烧线对异物进行灼烧清除。
42.可选的，所述区域建议框确定模块包括：
43.待定区域建议框获取单元，用于根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框；
44.区域建议框获取单元，用于根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
45.可选的，所述样本划分模块包括：
46.阈值获取单元，用于获取预设的交并比阈值；
47.样本划分单元，用于根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本；若否，则确定为负样本。
48.可选的，所述异物清除模块包括：
49.密度获取单元，用于根据所述异物信息，确定该类异物熔断时所需最小激光功率密度；
50.灼烧清除单元，用于根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
51.可选的，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
52.本技术涉及激光清除器异物识别领域，公开了一种电网异物检测识别方法及装置，在该方法中，首先针对电网悬挂异物数据集中任一异物图像，确定一一对应的区域建议框。然后确定电网悬挂异物数据集中的正样本和负样本。进一步提取正样本的区域建议框，生成所述正样本的区域建议框的掩膜结果。完成正负样本的选取后，将正样本和负样本输入到损失函数中进行计算，确定确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。然后获取预设的区域提议框，确定所述区域提议框到异物图像实际位置的偏移量，进一步对候选框进行筛选，确定目标候选框。最后根据所述目标候选框，输出异物信息、电缆的分类信息和像素区域信息，并根据信息完成对异物的识别与清除。
53.本技术通过从异物图像中提取不同尺度的特征图用于异物的检测，并且在检测结果后进行了一次分割操作。由于每个特征图的尺度大小和感受都不尽相同，因此对每个特征图的处理和分析能够将检测出不同大小的异物，并且提取出更加精准的异物区域信息。
附图说明
54.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还
可以根据这些附图获得其他的附图。
55.图1为本技术实施例公开的一种电网异物检测识别方法的工作流程示意图；
56.图2为本技术实施例公开的一种电网异物检测识别方法中，获得不同激光功率密度的结构示意图；
57.图3为本技术实施例公开的一种电网异物检测识别装置的结构示意图。
具体实施方式
58.为了解决现有技术中，对电网异物的检测识别中，视频监控的方式鲁棒性较差，在变换使用场景时，电网异物检测识别的精度很低。例如将使用场景由变电站换为其他场景时会导致方法检测精度的急剧下降，当摄像头采集的图片由近景换为远景时也会导致识别精度降低的技术问题，本技术通过以下两个实施例公开了一种电网异物检测识别方法及装置。
59.本技术第一实施例公开了一种电网异物检测识别方法，参见图1所示的工作流程示意图，所述电网异物检测识别方法包括：
60.步骤s101，获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像。
61.具体来说，在深度学习模型的测试过程中，用于训练的数据集与训练模型同样重要，一个高质量的数据集往往能够提高模型训练的质量和预测的准确率。通过查找资料后发现，目前存在的电网异物图片数量较少，且背景干扰较多，无法作为该项目中的数据图片参与训练，因此，需要预先建立一个电网悬挂异物数据集。
62.输电线上缠绕异物的现象一般出现在远离城区旷野地区，因此在构建电网悬挂异物数据集时，选择在野外搭建异物架设、拍摄异物图片平台，尽量满足异物拍摄背景真实、不同距离下异物图像。由于异物架设的地点移动很麻烦，所以将电线及异物固定在一个视野开阔的地方，采用笔记本、移动电源供电、小拖车搭建可移动的拍摄异物图片平台。拍摄数据集时将异物悬挂在300米外楼顶平台的钢芯铝绞线上，采用52倍相机拍摄，背景首先考虑理想情况，即为晴朗天空，无风或微风环境。
63.常见的挂线异物一般包括树枝、风筝、气球、农用塑料大棚的薄膜碎片，在构建电网悬挂异物数据集时首先选取了广告横幅、风筝、布条、塑料袋等常见异物，由于不同风筝的形态差异较大，在拍摄数据集时总选取了四种不同类型的风筝。
64.本实施例为实现对电力高压线激光清除异物场景中的挂网异物识别，以及激光灼烧点检测，提出了一种基于mask r
‑
cnn实例分割的电网异物检测识别方法，采用轻量级深度学习神经网络，从图像中充分提取不同尺度特征，并生成区域提议框，经过非极大值抑制提取出最终的结果，异物信息、电缆的分类信息和像素区域信息。
65.本实施例主要从特征提取的角度对传统方法进行改进，通过深度卷积层结构从图像中提取不同尺度的特征响应图用于目标的检测，并且在检测结果后进行了一次分割操作。由于每个特征图的尺度大小和感受野都不尽相同，因此对每个特征图的处理和分析能够将检测出不同大小的目标，并且提取出更加精准的物体区域信息，这是传统方法难以实现的。
66.步骤s102，针对任一异物图像，获取所述任一异物图像多个特征图。
67.步骤s103，根据所述多个特征图，确定所述任一异物图像对应的区域建议框。
68.在本技术的部分实施例中，所述根据所述多个特征图，确定所述任一异物图像对应的区域建议框，包括：
69.根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框。
70.根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
71.具体来说，步骤s102和步骤s103是基于特征金字塔的多层特征图区域建议框生成，读入图像后首先经过多层卷积，生成一系列深度不同的特征图，并在这一系列的特征图上，利用roi align技术生成一系列大小相同、深度不同的区域建议框，并通过非极大值抑制算法得到最终的区域建议框。
72.步骤s104，获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本。所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框。
73.在本技术的部分实施例中，所述根据所述电网悬挂异物数据集、所述默认框和预设的真实样本值，确定正样本和负样本，包括：
74.获取预设的交并比阈值。
75.根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本。若否，则确定为负样本。
76.具体来说，在尺度和宽高比多样的默认框中，会有小部分异物图像和真实样本值(groundtruth)有部分重合。此时，设置重合度样本为正样本，而其余的异物图像会被视作负样本。其中默认框和真实样本值的重合度采用交并比来衡量。
77.若存在a框与b框，其交并比计算方式为：交并比就是a与b相交叉的范围与a与b的并集的比值。本算法在正负样本判断中取交并比阈值为0.5，即所有默认框中，与真实样本值的交并比超过0.5时被视为正样本，相反的视为负样本。在训练时，所有正样本都会参与训练。负样本的数量远多于正样本，且过多的负样本不利于网络的训练，因此随机取负样本与正样本数量为3:1。
78.步骤s105，获取所述正样本的区域建议框，以及获取所述正样本的特征图。
79.步骤s106，根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果。
80.具体来说，提取出正样本的区域建议框，通过roi align和一次deconv处理后生成特征图，并对每个类别进行sigmoid处理，最终生成区域建议框的掩膜结果。
81.步骤s107，根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。
82.具体来说，完成正负样本的选取后，会将这些异物图像分别输入到损失函数中进行计算，为网络调参的提供依据。mask rcnn是端对端的深度学习网络，最后输出的是候选框的位置信息、候选框所代表的类别与异物的掩膜信息。将位置信息、类别信息和掩膜信息列入同一个损失函数中，这个损失函数为：
83.l＝l_cls l_box l_mask；
84.其中，lcls是一个softmax损失函数，其工作原理与常用的图像分类网络相同，这里用于对算法的分类精度的计算。
85.lbox是位置损失函数smooth l1 loss，它负责回归位置的损失。
86.lmask是mask的损失函数，对于每一个roi，mask分支有km*m维度的输出，其对k个大小为m*m的mask进行编码，即k个分辨率为m*m的二值的掩膜。
87.完成损失函数的计算后即可开始反向传播对参数进行更新。
88.步骤s108，获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量。
89.具体来说，区域提议框在识别过程中主要的作用是提供给深度神经网络一个初始值。因为卷积神经网络本身难以在没有锚框提供初值的情况下，只通过卷积和池化等运算生成对应的检测框。
90.在本技术的部分实施例中，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
91.具体来说，卷积网络获得初值后，会对默认框的类别和位置进行预测。由于默认框仅仅是在固定位置上生成的不同大小和宽高比的框，并不能准确预测出不同位置和尺度的目标，因此算法需要预测区域提议框到实际位置的偏移量。该位置的偏移量包括4个值，分别对应框的左上角的横纵坐标，以及框的宽和高。
92.步骤s109，根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框。
93.具体来说，通过非极大值抑制，去除识别统一目标的多余候选框，最终留下的候选框作为待识别目标，即所述目标候选框。
94.步骤s110，根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息。
95.步骤s111，根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线。
96.具体来说，根据步骤s110输出的异物信息、电缆的分类信息和像素区域信息，在目标候选框对应的图像上绘制与电缆平行的、经过异物区域的灼烧参考线，并采用灼烧参考线与异物边界的两个交点作为灼烧的起止点。
97.步骤s112，根据所述目标灼烧线对异物进行灼烧清除。
98.在本技术的部分实施例中，所述根据所述目标灼烧线对异物进行灼烧清除，包括：
99.根据所述异物信息，确定该类异物熔断时所需最小激光功率密度。
100.根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
101.具体来说，开始灼烧后，重复步骤s101至步骤s110得到更新的异物区域及灼烧点，直至异物清除，灼烧结束。
102.在本技术的部分实施例中，异物熔断时所需最小激光功率密度通过如下方式获取：
103.结合激光清除作业实际工作场景以及激光器的作业范围，选取了一些常见的异物材料，其中不同颜色、透明度的异物区分为不同的异物类别，分别用不同功率百分比的100％圆光斑灼烧熔断异物，通过激光灼烧实验记录异物熔断时对应激光最大功率的百分
比，并计算异物材料最佳熔断清除的功率密度。
104.激光功率的调节一般难以精确调节，因此可以采用改变光斑大小的方法进行实验，以此获得不同激光功率密度。采用一个焦距为f的聚焦镜，放置在激光管输出口前面，激光光束将在焦点聚焦后发散，在发散后的不同位置，可以得到不同的光斑大小，根据公式可以计算出该位置光斑大小对应的激光功率密度。
105.将实验异物材料放置在光轴上，从远及近依次移动，如图2所示，从pn开始一直向p1位置移动，当异物在某个位置熔断或者燃烧时，记录下该位置的光斑大小，计算可得该类异物熔断时所需最小激光功率密度。
106.实验环境中空气温度15.7℃，湿度61％，实验结果如表1所示：
107.表1
108.109.本实施例针对自行构建的电网悬挂异物数据集，为实现对电力高压线激光清除异物场景中的挂网异物识别，以及激光灼烧点检测，提出了一种基于mask r
‑
cnn实例分割的电网异物检测识别方法，采用轻量级深度学习神经网络，从图像中充分提取不同尺度特征，并生成区域提议框，经过非极大值抑制提取出最终的结果，异物信息、电缆的分类信息和像素区域信息。在识别到异物种类后，会根据最佳熔断密度给出推荐的出光功率。
110.本技术上述实施例公开的一种电网异物检测识别方法，首先针对电网悬挂异物数据集中任一异物图像，确定一一对应的区域建议框。然后确定电网悬挂异物数据集中的正样本和负样本。进一步提取正样本的区域建议框，生成所述正样本的区域建议框的掩膜结果。完成正负样本的选取后，将正样本和负样本输入到损失函数中进行计算，确定确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。然后获取预设的区域提议框，确定所述区域提议框到异物图像实际位置的偏移量，进一步对候选框进行筛选，确定目标候选框。最后根据所述目标候选框，输出异物信息、电缆的分类信息和像素区域信息，并根据信息完成对异物的识别与清除。
111.本实施例通过从异物图像中提取不同尺度的特征图用于异物的检测，并且在检测结果后进行了一次分割操作。由于每个特征图的尺度大小和感受都不尽相同，因此对每个特征图的处理和分析能够将检测出不同大小的异物，并且提取出更加精准的异物区域信息。
112.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
113.本技术第二实施例公开了一种电网异物检测识别装置，所述电网异物检测识别装置应用于本技术第一实施例公开的电网异物检测识别方法，参见图3所示的结构示意图，所述电网异物检测识别装置包括：
114.异物数据集获取模块201，用于获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像。
115.特征图获取模块202，用于针对任一异物图像，获取所述任一异物图像多个特征图。
116.区域建议框确定模块203，用于根据所述多个特征图，确定所述任一异物图像对应的区域建议框。
117.进一步的，所述区域建议框确定模块203包括：
118.待定区域建议框获取单元，用于根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框。
119.区域建议框获取单元，用于根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
120.样本划分模块204，用于获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本。所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框。
121.进一步的，所述样本划分模块204包括：
122.阈值获取单元，用于获取预设的交并比阈值。
123.样本划分单元，用于根据所述电网悬挂异物数据集，判断所述默认框与所述真实
样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本。若否，则确定为负样本。
124.正样本参数模块205，用于获取所述正样本的区域建议框，以及获取所述正样本的特征图。
125.掩膜结果确定模块206，用于根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果。
126.信息获取模块207，用于根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。
127.偏移量确定模块208，用于获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量。
128.目标候选框确定模块209，用于根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框。
129.目标信息获取模块210，用于根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息。
130.参考线确定模块211，用于根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线。
131.异物清除模块212，用于根据所述目标灼烧线对异物进行灼烧清除。
132.进一步的，所述异物清除模块212包括：
133.密度获取单元，用于根据所述异物信息，确定该类异物熔断时所需最小激光功率密度。
134.灼烧清除单元，用于根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
135.在本技术的部分实施例中，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
136.以上结合具体实施方式和范例性实例对本技术进行了详细说明，不过这些说明并不能理解为对本技术的限制。本领域技术人员理解，在不偏离本技术精神和范围的情况下，可以对本技术技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本技术的范围内。本技术的保护范围以所附权利要求为准。