基于MaskRCNN的输电铁塔涉鸟故障状态识别评估方法与流程

基于mask rcnn的输电铁塔涉鸟故障状态识别评估方法
技术领域
1.本发明属于图像处理技术领域，涉及一种基于mask rcnn的输电铁塔涉鸟故障状态识别评估方法。


背景技术：

2.近年来，鸟类繁衍数量激增、种群数量增多，日益增长的鸟类种群为输电铁塔及其线路的安全稳定运行带来了挑战。据资料统计，在2004
‑
2006年期间，220kv及以上输电线路鸟害跳闸数约占总跳闸数的1/10，其中主要以220kv线路为主；在2010
‑
2014年期间，全国27个省级国家电网公司的调查结果表明，110kv及以上电压等级的输电线路因涉鸟故障造成跳闸1702次；同时，上述数据均呈现出逐年上升趋势，涉鸟故障俨然已成为影响输电线路安全运行的重大隐患之一。因此，实现110kv
‑
220kv输电铁塔及其线路上的涉鸟故障识别与状态评估以便及时发布预警信息至关重要。
3.为了准确识别与防范各类涉鸟故障，国内外相关研究学者针对鸟类活动和涉鸟故障展开了调查分析。李长看等人根据河南电网的涉鸟故障特征，首次提出将涉鸟故障划分为鸟巢类、鸟粪类、鸟体短接类、鸟啄类四类，在每个类别下依据地区差异(包括地貌、植被、气候、迁徙通道)划分出不同的风险等级，并绘制出鸟害区域的风险等级分布图进而实现鸟害防治。正是基于对鸟类生活习性的观测和鸟害故障特点的总结，使得涉鸟故障防范不再依靠巡检人员的运行经验和主观臆测，从而在防鸟工作开展初期有效提高了涉鸟故障防范作业的有效性和经济性。例如，李帆等人结合上述技术手段针对江西电网输电线路鸟害故障进行了统计，发现该地区鸟害主要集中在春夏两季时的农田或近水源区域发生，并进一步计算得到防治装置的相关参数值。巢亚峰等人则在统计了湖南电网输电线路涉鸟故障后，发现故障点具有位置重复、区域集中的特征，整体呈现出倒v形分布的现象，进而依据这些特点开展鸟害防治及风险评估工作；但是，不同鸟类在不同地区的生长习性存在差异，样点、样线等取样法难以悉数掌握所有鸟类的生活习性；然而，即便是统计完全，由于涉鸟故障重合闸成功率较高，故障痕迹不明显，极易造成故障遗漏、调查分析不细致的情况，统计结果依赖于有限的历史数据，从而导致出现以偏概全的局面。
4.近年来，随着图像处理技术的发展，输电线路信息化程度不断提高，海量图像数据层出不穷，基于图像处理的涉鸟故障检测技术应运而生。徐晶等人根据铁塔塔材方向各异的先验知识，利用无监督学习算法将巡检分块图像聚类以实现铁塔定位，并通过hsv颜色特征量及形状特征参数相结合的方式在铁塔区域搜索鸟巢；张义莲等人依据鸟巢通常出现在输电铁塔横担区域这一事实经验，通过获取输电铁塔图像中塔架的hog特征，构建并训练一系列级联的弱分类器gentle adaboost进而确定横担位置，然后在该区域内利用颜色特征达到鸟巢检测的目的。虽然，上述通过传统图像分析技术结合模式识别的算法较于“经验治鸟”取得了显著性进展，但该类算法由于缺乏空间信息且易受图像中物体或场景变换的影响，在运行环境复杂多变且检测目标模糊的场景中易失效；基于此，王纪武等人针对复杂背景下鸟巢检测困难的问题，改进了现有深度学习模型faster rcnn，提出一种适应于输电线
路运行环境的多尺度鸟巢检测算法，但该方法只对鸟巢类故障有效，很难直接移植到其他类涉鸟故障检测中；孙建刚等人提出一种基于yolo(you only look once)单阶段检测模型的鸟类识别算法，通过模型检测到鸟类以触发驱鸟装置动作达到防治目的，但鸟类对于长期作用的驱鸟装置势必会产生适应性，可能会导致该算法的现场实用价值降低。


技术实现要素：

5.本发明的目的是提供一种基于mask rcnn的输电铁塔涉鸟故障状态识别评估方法，解决了现有技术中的图像处理算法鲁棒性差、泛化能力弱；现有深度学习算法应用对象单一、尚未形成由检测到预警闭环机制的问题。
6.本发明采用的技术方案是，一种基于mask rcnn的输电铁塔涉鸟故障状态识别评估方法，按照以下步骤实施：
7.步骤1、建立图像数据库，以自然环境下的鸟类和架空输电线路为研究对象；
8.步骤2、首先，加载基于coco数据集训练而来的mask rcnn预训练权重，通过组建残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元来搭建mask rcnn输电铁塔故障状态识别评估模型，以下简称mask rcnn模型；
9.其次，修改mask rcnn模型的最后一层fc层分类数，并利用步骤1所建立的图像数据库对mask rcnn模型进行迁移微调，实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割；
10.最后，在mask rcnn模型识别结果的基础上，结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估；
11.步骤3、对涉鸟故障特征进行分析，包括涉鸟故障类型分析和涉害鸟种特征分析；
12.步骤4、利用步骤3的分析结果，建立融合涉害鸟种判别的涉鸟故障判别方式，实现对全类别涉鸟故障的识别评估。
13.本发明的有益效果，包括以下几个方面：
14.1)与传统图像处理算法相比，基于传统图像技术的涉鸟故障检测方法的各个阶段(包括灰度化、分割、建立模型或模式识别)彼此割裂，难以实现整体优化。此外，现场电力运行环境带来的物体、场景、光照等变换极易导致被检目标的颜色、纹理、空间关系和形状特征失效，从而影响算法的定位识别精度。本发明所采用的mask rcnn模型，特征提取、分类回归通过总损失函数实现整体优化；同时，基于深度学习和大数据的检测算法无须过分依赖人为设计特征，检测性能更加稳健，提供了一种更加稳定的涉鸟故障检测方法。
15.2)与现有的深度学习算法相比，现有基于深度学习的涉鸟故障检测算法应用对象相对单一(只检测鸟巢类故障、只识别鸟种类型等)，尚未形成由故障检测到状态评估再到发布预警的完整闭环。本发明首先通过研究涉鸟故障特征(包括涉鸟故障类型和涉害鸟种特点)，提出一种融合鸟种判别的涉鸟故障评估方法，为后续涉鸟故障状态定级奠定理论基础；其次，在mask rcnn深度学习模型的基础上，通过对鸟巢、涉害交叉鸟种、绝缘子及其本体故障等图像数据进行学习训练，从而实现多目标识别定位的目的；最后，结合传统图像处理技术对mask rcnn的涉鸟故障识别结果进行修正与评估。本发明算法采用以resnet
‑
50分类层作为辅助，mask rcnn分类层作为主分类的方式进行训练，具有正则化能力的辅助分类层有效提升了整个模型的分类识别精度，所应用的迁移微调训练方法和基于传统图像技术
的后处理方法巧妙地解决了训练集信息匮乏的弊端，有效避免了模型的过拟合问题，有效解决了传统图像处理算法和现有深度学习算法对于涉鸟故障检测的问题，为110
‑
220kv输电线路涉鸟故障状态辨识与评估提供了新思路。
附图说明
16.图1是本发明方法的流程图；
17.图2是本发明方法中基于预测框的鸟巢类故障状态识别流程图；
18.图3是本发明方法中基于掩膜的鸟粪污染绝缘子类故障状态识别流程图；
19.图4是本发明方法中基于掩膜的鸟啄类故障状态识别流程图。
具体实施方式
20.下面结合附图和具体实施方式对本发明进行详细说明。
21.本发明基于mask rcnn的输电铁塔涉鸟故障状态识别评估方法尤其适用于110
‑
220kv范围，其流程框图见图1，具体按照以下步骤实施：
22.步骤1、建立图像数据库，以自然环境下的鸟类和架空输电线路为研究对象，具体过程是：
23.1.1)通过无人机拍摄、网络爬取和从cub200
‑
2011数据集中下载获得，实施例共计喜鹊、灰喜鹊、大嘴乌鸦、秃鼻乌鸦、黑鹤、大白鹭、大鵟、普通鵟、苍鹭、东方白鹮、玻璃绝缘子、瓷质绝缘子、复合绝缘子以及绝缘子本体上的啄食痕迹、鸟粪污迹15类目标；再按照8：1：1划分数据集，具体包括1556幅训练集、验证集与测试集各194幅，共计1944幅图，包含15个种类，称为图像数据库。
24.1.2)参照微软coco2014数据集，通过labelme软件对步骤1.1)得到的图像数据库样本进行边界及类别标注。标注时，利用labelme软件中的多边形操作，沿着目标轮廓标点并连线构成图像的掩膜(即mask)，通过矩形框操作标记目标的边界框(即boundary
‑
box)，所包含的顶点坐标信息用于监督预测坐标的回归。
25.步骤2、首先，加载基于coco数据集训练而来的mask rcnn预训练权重，通过组建残差网络(resnet
‑
50)、特征金字塔网络(fpn)、区域候选网络(rpn)和感兴趣区域对准计算单元(roialign)来搭建mask rcnn输电铁塔故障状态识别评估模型；
26.其次，修改mask rcnn模型的最后一层fc层(即全连接层)分类数，并利用步骤1所建立的图像数据库对mask rcnn模型进行迁移微调，进而实现鸟类、鸟巢、绝缘子及其本体故障(如鸟粪污迹、鸟啄痕迹)的多目标识别与实例分割；
27.最后，在mask rcnn模型识别结果的基础上，结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估。
28.实施例的具体过程是，
29.2.1)依次选取的残差网络(resnet
‑
50)、特征金字塔网络(fpn)、区域候选网络(rpn)和感兴趣区域对准计算单元(roialign)，搭建mask rcnn输电铁塔故障状态识别评估模型；
30.2.2)修改mask rcnn模型最后一层fc层分类数，本实施例的数值选为15，对mask rcnn模型载入coco数据集训练而来的预训练权重，输入步骤1建立的图像数据库进入模型，
保留resnet
‑
50分类分支和mask rcnn主分类分支，构成主辅结合的分类方式进行迁移微调式的训练，从而得到能够同时实现目标检测与实例分割的mask rcnn输电铁塔故障状态识别评估模型，简称mask rcnn模型，mask rcnn模型中的总损失函数如下式(1)所示：
31.l＝l
cls1
l
cls2
l
box
l
mask
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0032][0033][0034][0035]
其中，l
cls1
是resnet
‑
50分支构成的辅助分类损失函数，l
cls2
是maskrcnn全连接层构成的主分类损失函数，l
box
是框回归损失函数，l
mask
是掩膜生成损失函数，n
cls
代表分类数，n
box
代表回归框个数，n
mask
代表掩膜个数；i为小批量中锚框的一个索引，t
i
表示预测框的偏移量，表示的是回归框相对于真实标签(ground truth，gt)的实际偏移量，p
i
表示的是目标预测的概率值，表示回归框内物体，回归框内物体为正例，则值为1；回归框内物体为负例，则值为0；m
i
表示物体被预测为目标的置信度。
[0036][0037][0038]
r是关于鲁棒的损失函数的计算如式(7)所示，其中，x表示mask rcnn输电铁塔故障状态识别评估模型的输入量：
[0039][0040]
掩膜生成损失函数的计算如式(8)所示，
[0041][0042]
其中，表示在第i个掩膜层中每个像素经过sigmoid函数后产生的输出；
[0043]
2.3)在maskrcnn模型目标检测结果的基础上，建立基于预测框的鸟巢类故障状态识别方式，通过准确定位鸟巢、绝缘子区域和计算二者之间的水平间距实现鸟巢类故障状态的自动判别，识别流程框图见图2，实施例的具体过程是：
[0044]
2.3.1)输入mask rcnn模型检测到的鸟巢边界框左上角坐标(x
1l
,y
1l
)、右下角坐标(x
1r
,y
1r
)和绝缘子边界框左上角坐标(x
2l
,y
2l
)、右下角坐标(x
2r
,y
2r
)；
[0045]
2.3.2)根据对应坐标点，计算得到鸟巢区域中心点的坐标为(x1,y1)＝((x
1l
x
1r
)/2,(y
1l
y
1r
)/2)，同时，计算得到绝缘子区域中心点的坐标为(x2,y2)＝((x
2l
x
2r
)/2,(y
2l

y
2r
)/2)；
[0046]
2.3.3)定义鸟巢与绝缘子之间的水平间距d＝|x1‑
x2|，由于110kv等级绝缘子的公称结构高度为1.6～1.9m，220kv等级绝缘子的公称结构高度为2.3～2.8m，而这两种电压等级下鸟巢与绝缘子串之间的安全距离最小值为0.6m，最大值为2m；因此，设定110kv安全距离的上界为绝缘子高度的1.05倍即2/1.9＝1.05，下界为绝缘子高度的0.37倍即0.6/1.6＝0.37，220kv安全距离的上界为绝缘子高度的0.71倍即2/2.8＝0.71，下界为绝缘子高度的0.26倍即0.6/2.3＝0.26；则得到110kv、220kv电压等级下鸟巢类故障状态判别式，见式(9)、式(10)：
[0047][0048][0049]
其中，h
i
是110kv或220kv绝缘子串的像素高度，由y
2r
‑
y
2l
计算得到；
[0050]
2.4)在mask rcnn模型分割结果的基础上，对于由鸟粪污迹掩膜提取到的鸟粪污迹图像，建立基于掩膜的鸟啄类、鸟粪污染绝缘子类故障结果修正与状态识别方式，通过融合具有颜色、纹理特征向量的度量函数进行相似性判断，具体过程是：
[0051]
2.4.1)对于颜色相似性，将鸟粪污迹图像m与鸟粪示例图像s均转换至hsv空间，并以3通道下共30bins统计并归一化灰度直方图，进而得到m图像的颜色向量和s图像的颜色向量
[0052]
2.4.2)对于纹理相似性，采用σ为1的高斯算子计算8个方向的梯度，并将该结果以单通道下bins＝5统计归一化直方图，继而得到m图像的纹理向量和s图像的纹理向量
[0053]
再将m图像的颜色向量和s图像的颜色向量和m图像的纹理向量和s图像的纹理向量均通过在同一bins下取特征值的最小值代表二者直方图的相交性，以此来度量鸟粪污迹图像与鸟粪示例图像的相似程度，simc、simt、sim表达式见式(11)、式(12)、式(13)：
[0054]
[0055][0056]
sim(m,s)＝0.5*(simc simt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0057]
对于相似度函数的度量结果，当sim(m,s)>0.7时，认为图像m确为鸟粪污迹图像；反之，则非鸟粪污迹图像；在确定为鸟粪污迹图像后，按照图3所示流程图和后续步骤4.2.3)中的内容对故障进行定级，完成对鸟粪污染绝缘子类故障状态的自动判别；
[0058]
同理，采用上述算法对鸟啄痕迹图像w与鸟啄示例图像h做相似性判断，当sim(w,h)>0.7时，认为图像w确为鸟啄痕迹图像；反之，则非鸟啄痕迹；在识别为鸟啄痕迹图像后，按照图4所示流程图和后续步骤4.2.2)中的内容完成对鸟啄类故障状态的识别评估。
[0059]
步骤3、对涉鸟故障特征进行分析，包括涉鸟故障类型分析和涉害鸟种特征分析，具体过程是：
[0060]
3.1)分析表明，鸟体短接类故障和鸟粪短接空气间隙故障是瞬间发生的，其余鸟巢、鸟啄和鸟粪污染绝缘子闪络各类故障是需要时间、运行环境等条件累积才可发生的；基于此，本步骤依据涉鸟故障的发生特点将其划分为瞬时性发生和累积性发生两类故障；
[0061]
3.2)分析表明，不同涉鸟故障的涉害鸟种具有普遍性，如下表1所示，就故障发生特点方面而言，喜鹊、灰喜鹊、大嘴乌鸦、秃鼻乌鸦是导致累积性故障(鸟巢类、鸟啄类、鸟粪污染绝缘子闪络故障)发生的共有鸟种；同理，黑鹤、大白鹭、普通鵟、大鵟、苍鹭是引发故障瞬时性发生即鸟粪短接空气间隙和鸟体短接类故障的交叉鸟种；
[0062]
表1、不同涉鸟故障的交叉涉害鸟种统计结果(9类)
[0063][0064]
步骤4、利用步骤3的分析结果，建立融合涉害鸟种判别的涉鸟故障判别方式，具体过程是：
[0065]
4.1)情况一：当识别到能够引起故障瞬时性发生的交叉涉害鸟种，直接归类到危险级，应立即采取强制措施进行驱逐(如采用声光驱鸟装置)。
[0066]
4.2)情况二：当识别到能够引起故障累积性发生的交叉涉害鸟种，则需要对所包含的故障类型均进行识别评估；
[0067]
4.2.1)鸟巢类故障：由于不断加筑的鸟巢材料会逐渐减小绝缘子伞裙间的空气间隙，随时可能下落的鸟粪还会畸变绝缘子串周围的电场分布，进而降低其绝缘性能引发输电线路跳闸；由此可知，鸟巢中心点及绝缘子中心点的水平间距是评估鸟巢类故障状态的有效参数，具体判断如下：
[0068]
按照步骤2.3.3)中的式(9)及式(10)，计算得到间距d；
[0069]
a)对于110kv输电铁塔，分为以下三种情况：
[0070]
a1)当计算出的水平间距d<0.37*h
i
时，判定该绝缘子进入危险级，系统发出警报并提示工作人员立即处理；
[0071]
a2)当计算出的水平间距0.37*h
i
<d<1.05*h
i
时，判定该绝缘子进入观察级，系统发出预警并做标记时刻观察；
[0072]
a3)当计算出的水平间距d>1.05*h
i
时，判定该绝缘子为安全级。
[0073]
b)对于220kv输电铁塔，分为以下3种情况：
[0074]
b1)当计算出的水平间距d<0.71*h
i
时，判定该绝缘子进入危险级，系统发出警报并提示工作人员立即处理；
[0075]
b2)当计算出的水平间距0.26*h
i
<d<0.71*h
i
时，判定该绝缘子进入观察级，系统发出预警并做标记时刻观察；
[0076]
b3)当计算出的水平间距d>0.71*h
i
时，判定该绝缘子为安全级；
[0077]
4.2.2)鸟啄类故障：由于鸟类啄食复合绝缘子使得伞裙尺寸发生变化，伞形结构被破坏，进而导致绝缘子的爬电距离大幅减小，同时失去护套包裹的绝缘子芯棒在潮气、杂质的作用下发生腐蚀脆断，从而造成绝缘子串失效继而引发输电线路跳闸；由此可知，绝缘子是否存在鸟啄痕迹是评价鸟啄类故障状态的可靠依据，具体判断如下：
[0078]
按照步骤2.4)所述内容检测识别鸟啄痕迹：
[0079]
c1)当检测到绝缘子存在鸟啄痕迹且运行于潮湿的气候条件下，判定该绝缘子进入危险级，系统发出警报并提示工作人员立即进行更换；
[0080]
c2)当检测到绝缘子存在鸟啄痕迹且运行于干燥的气候环境中，判定该绝缘子进入观察级，系统发出预警并提示工作人员时刻观察该绝缘子的变化，在雨季或雾霾天气来临之前进行更换；
[0081]
c3)当被测绝缘子不存在鸟啄痕迹时，该绝缘子被判定为安全级；
[0082]
4.2.3)鸟粪污染绝缘子类故障：由于鸟粪污染后的绝缘子表面盐密值可能达到0.154～0.172mg/cm2，按照《高压架空线路和发电厂、变电所环境污区分级及外绝缘选择标准》(gb中国国家标准)中所给出的定级标准，盐密值达到0.10～0.25mg/cm2时属于第3级污秽等级，运行环境为大气严重污染地区；由此可知，绝缘子是否存在鸟粪附着是评估鸟粪污染绝缘子闪络故障状态的有效标志，具体判断如下：
[0083]
按照步骤2.4)所述内容检测识别鸟粪污迹；
[0084]
d1)当检测到绝缘子被鸟粪附着且运行于潮湿多雨天气下，判定该绝缘子为危险级，系统发出警报并提示工作人员立即对该绝缘子去污处理(如进行冲洗等措施)；
[0085]
d2)当检测到绝缘子被鸟粪附着且运行于干燥的气候条件下，判定该绝缘子为观察级，系统发出预警并对该绝缘子进行标记以便随时观察其变化，提示工作人员在细雨或雾霾天气来临之前进行去污处理；
[0086]
d3)当被测绝缘子不存在鸟粪附着，判定该绝缘子为安全级。
[0087]
4.3)情况三：当未识别到能够引起故障发生的涉害鸟种时，按照步骤4.2.1)
‑
步骤4.2.3)所述内容进行识别评估。
[0088]
完成上述的精准的涉鸟故障检测与状态评估后，再读取下一张现场图片进行处
理，依次循环，实现整个输电铁塔及线路的评估。