一种基于改进B-CNN算法的输电线植被入侵检测方法、装置及存储介质与流程

一种基于改进b-cnn算法的输电线植被入侵检测方法、装置及存储介质
技术领域
1.本发明涉及图像检测技术领域，特别是一种基于改进b-cnn算法的输电线植被入侵检测方法、装置及存储介质。


背景技术：

2.将电力输送给用户的过程包括三个步骤：发电、输电和配电。传输线是传输过程的骨干基础设施。有许多环境因素可能影响传播过程，如森林火灾、风暴和植被退化。在植被密度高的地区，输电线路的安装、运行和维护面临的一个主要挑战是侵入。当树枝与传输线接触时，过度生长会导致闪光。目前有许多不同的方法可用于监测植被侵蚀如通过检查员定期访问巡查指定地区，但这需要大量的检查人员进行检查，尽管数据采集过程是有效的，但相对于整个区域而言，数据采集过程非常昂贵。高分辨率图像采集方式则能够显著克服高成本限制，并可以使用提供广泛的地理信息。
3.植被指数法是一种利用可见图像监测沿强光路的植被活动的方法，其根据植被指数的计算对不同密度的植物进行检测，包括计算标准化差异植被指数(ndvi)、增强植被指数(evi)和最外层植被指数(arvi)。然而，这种类型的检测取决于目标位置数据的可用性。
4.数字评估模型方法通过可见图像创建双高程模型(dem)地图，所使用的是具有不同视角的图像。这种方法有利于估计输电线路走廊周围物体的高度，但是，适当分辨率的可用立体图像数据的缺乏会对该方法造成限制。


技术实现要素：

5.本发明的目的是提供一种基于改进b-cnn算法的输电线植被入侵检测方法、装置及存储介质，利用可见图像的纹理特性，使用b-cnn算法对电力线以外的植被区域进行分类，简化样本标记操作，同时提升检测准确率。本发明采用的技术方案如下。
6.一方面，本发明提供一种基于改进b-cnn算法的输电线植被入侵检测方法，包括：
7.获取待检测的输电线环境图像；
8.对输电线环境图像进行预处理；
9.对预处理后的图像提取glcm特征；
10.将预处理后的输电线环境图像以及所提取的图像glcm特征输入预先训练的输电线植被入侵检测模型，得到模型输出的分类结果；
11.根据输电线植被入侵检测模型分类结果输出植被侵入区域以及输电线区域分别被标记的图像。
12.可选的，所述对输电线环境图像进行预处理还包括对图像进行分块，每个图像块的像素为n
×
n，输入至输电线植被入侵检测模型的输电线环境图像为分块处理后的图像。将图像分割成小块的过程旨在减少处理时间。但是，检测时间与图像块的数量成正比，所以图像越多需要的执行时间越长。小块具有合理的大小。
13.可选的，所述输电线植被入侵检测模型采用b-cnn网络，其包括依次设置的输入层、卷积层、双线性池化层以及softmax归一化层，所述卷积层包括分别连接输入层的卷积网络a和卷积网络b，两者的输出经双线性池化层做外积处理和池化处理后得到双线性向量；
14.b-cnn网络表达为以下公式：
15.f＝(fa,fb,p,c)
16.式中，f表示b-cnn网络的输出分类；fa和fb分别表示卷积网络a和卷积网络b的特征提取函数，为映射过程函数f:l
×i→
rc×d，表示将图像i和位置区域l通过设定的映射关系映射成一个c
×
d维尺寸的向量；p表示池化函数，c表示通过softmax归一化层的双向分类识别向量；
17.所述外积处理公式表示为：
18.bilinear＝fa(l,i)
t
fb(l,i)
19.其中fa(l,i)和fb(l,i)分别为图像i的位置l处卷积网络a和卷积网络b输出的特征；
20.所述池化函数p表示为：
[0021][0022]
其中φ(i)为图像i的卷积输出在外积处理后的池化结果。可见池化函数p的作用就是对在不同的位置处的特征进行整合，从而获得全局像。
[0023]
卷积网络a和卷积网络b可以是两个对称的网络，也可以是两个不对称的网络，比如可以分别采用vgg-16和vgg-19两种网络，使用两路不同的卷积神经网络可以获得比两路相同模型的cnn更优越的性能。
[0024]
可选的，输电线植被入侵检测模型b-cnn网络中，卷积网络a和卷积网络b的输出端分别连接有通道注意力模块和空间注意力模块；
[0025]
所述通道注意力模块的特征计算公式为：
[0026][0027]
所述空间注意力模块的特征计算公式为：
[0028][0029]
式中，f表示卷积网络输出的特征，f
′
为通道注意力模块输出的特征，f
″
为空间注意力模块输出的特征；和分别表示对特征f进行平均池化和最大池化的结果，w0、w1表示多层感知器mlp中不同层的权重，σ表示sigmoid函数，表示逐元素相乘，f7×7表示滤波器尺寸为7*7的卷积运算；avgpool(
·
)表示平均池化函数，maxpool(
·
)表示最大池化函数。
[0030]
可选的，所述对预处理后的图像提取glcm特征包括：
[0031]
将预处理后的输电线环境图像线性转换为一维向量，计算统计矩；
[0032]
计算角二阶矩、熵ent、对比度con、反差分矩阵idm和相关性correlation；
[0033]
其中统计矩包括：
[0034]
平均值μ、标准偏差σ、方差σ2、三阶中心距μ3、偏度和峰度矩kurt，计算公式为：
[0035][0036][0037][0038]
μ3＝e(p
i-μ)3[0039][0040][0041]
上式中，e表示求平均值函数；
[0042]
角二阶矩、熵ent、对比度con、反差分矩阵idm和相关性correlation的计算公式分别为：
[0043][0044][0045][0046][0047][0048]
式中，μ
x
表示glcm特征矩阵中第i行元素的平均值，σ
x
表示第i行元素的标准偏差，μy表示第j列元素的平均值，σy表示第j列元素的标准偏差。。
[0049]
可选的，所述输电线植被入侵检测模型训练方法，包括：
[0050]
获取来源于不同输电线环境的图像样本及其植被入侵区域标注信息；
[0051]
将图像样本划分为训练集样本和测试集样本；
[0052]
对图像样本进行预处理，确定植被入侵区域标注信息以及输电线区域标注信息；
[0053]
对预处理后的图像样本进行glcm特征提取；
[0054]
将预处理后的训练集样本、样本标注信息以及所提取的样本glcm信息输入预先构建的b-cnn网络，对b-cnn网络进行训练；
[0055]
通过测试集样本检测已训练的b-cnn网络的分类精度，若分类精度达到预设精度要求则停止训练，否则继续通过训练集样本进行b-cnn网络的训练。
[0056]
可选的，所述图像样本具有多种分辨率和比例，包括含有高密度植被区域的图像和含有低密度植被区域的图像。
[0057]
第二方面，本发明提供一种基于改进b-cnn算法的输电线植被入侵检测装置，包括：
[0058]
图像获取模块，被配置用于获取待检测的输电线环境图像；
[0059]
预处理模块，被配置用于对输电线环境图像进行预处理；
[0060]
glcm特征提取模块，被配置用于对预处理后的图像提取glcm特征；
[0061]
植被入侵检测模块，被配置用于将预处理后的输电线环境图像以及所提取的图像glcm特征输入预先训练的输电线植被入侵检测模型，得到模型输出的分类结果；
[0062]
以及，检测结果输出模块，被配置用于根据输电线植被入侵检测模型分类结果输出植被侵入区域以及输电线区域分别被标记的图像。
[0063]
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的基于改进b-cnn算法的输电线植被入侵检测方法。
[0064]
有益效果
[0065]
本发明利用可见图像的纹理特性，首先利用glcm算法提取图像的glcm特征，然后基于图像本身以及所提取的glcm特征，使用b-cnn算法对电力线以外的植被区域进行分类，充分利用了b-cnn网络在细粒度分类方面的优势，避免了传统方法中大量的人工标记操作，同时glcm算法的应用使得特征提取的有效性显著增加，能够大大提升检测准确率。
附图说明
[0066]
图1所示为本发明的一种应用场景示意图；
[0067]
图2所示为本发明方法所采用的b-cnn网络架构示意图；
[0068]
图3所示为利用本发明方法进行植被入侵检测的效果示意图(实际可输出色彩区分)。
具体实施方式
[0069]
以下结合附图和具体实施例进一步描述。
[0070]
实施例1
[0071]
本实施例介绍一种基于改进b-cnn算法的输电线植被入侵检测方法，包括：
[0072]
获取待检测的输电线环境图像；
[0073]
对输电线环境图像进行预处理；
[0074]
对预处理后的图像提取glcm特征；
[0075]
将预处理后的输电线环境图像以及所提取的图像glcm特征输入预先训练的输电线植被入侵检测模型，得到模型输出的分类结果；
[0076]
根据输电线植被入侵检测模型分类结果输出植被侵入区域以及输电线区域分别被标记的图像。
[0077]
本实施例的方法主要涉及以下内容。
[0078]
一、输电线植被入侵检测模型的构建
[0079]
本实施例中，输电线植被入侵检测模型采用改进的b-cnn网络，如图2所示，网络包括依次设置的输入层、卷积层、双线性池化层以及softmax归一化层，卷积层包括分别连接输入层的卷积网络a和卷积网络b，两者的输出分别连接有通道注意力模块和空间注意力模块，两通道输出的特征经双线性池化层做外积处理和池化处理后得到双线性向量，最后利
用softmax层实现分类即目标识别。
[0080]
未加入注意力机制的b-cnn网络表达为以下公式：
[0081]
f＝(fa,fb,p,c)
[0082]
式中，f表示b-cnn网络的输出分类；fa和fb分别表示卷积网络a和卷积网络b的特征提取函数，为映射过程函数f:l
×i→
rc×d，表示将图像i和位置区域l通过设定的映射关系映射成一个c
×
d维尺寸的向量；p表示池化函数，c表示通过softmax归一化层的双向分类识别向量；
[0083]
所述外积处理公式表示为：
[0084]
bilinear＝fa(l,i)
t
fb(l,i)
[0085]
其中fa(l,i)和fb(l,i)分别为图像i的位置l处卷积网络a和卷积网络b输出的特征；
[0086]
所述池化函数p表示为：
[0087][0088]
其中φ(i)为图像i的卷积输出在外积处理后的池化结果。可见池化函数p的作用就是对在不同的位置处的特征进行整合，从而获得全局像。
[0089]
卷积网络a和卷积网络b可以是两个对称的网络，也可以是两个不对称的网络，比如可以分别采用vgg-16和vgg-19两种网络，使用两路不同的卷积神经网络可以获得比两路相同模型的cnn更优越的性能。
[0090]
本实施例的输电线植被入侵检测模型则加入了注意力机制。
[0091]
注意力机制是人类特有的视觉信息处理机制，可以根据需求让网络动态地学习显著特征，能有效提升网络学习关键信息的能力。在注意力机制中有聚焦于通道维度和空间维度的注意力特征计算方式。
[0092]
参考图2所示，本实施例中，通道注意力模块主要思想是通过权重的变化产生通道注意力特征图，使用平均池化和最大池化操作聚合特征图的空间信息，生成两个描述符，并将这两个描述符转发到一个带有隐藏层的多层感知器(mlp)中，再通过sigmoid函数得到通道注意力特征，由卷积网络输出的特征图f与通道注意力特征以对应元素相乘的方式得到最后的注意力特征图f
′
；
[0093]
通道注意力模块的特征计算公式为：
[0094][0095]
空间注意力模块集中于特征间的空间关系信息，为了计算空间注意力，需要沿着通道维度应用平均池化和最大池化操作，并将它们连接起来生成一个有效的特征描述符，然后通过一个标准卷积层输出，经过sigmoid函数得到空间注意映射，最后对空间注意映射和通道注意力特征图进行对应元素相乘得到结合通道和空间注意力的特征映射f
″
。
[0096]
空间注意力模块的特征计算公式为：
[0097][0098]
上式中，f表示卷积网络输出的特征，f
′
为通道注意力模块输出的特征，f
″
为空间注意力模块输出的特征；和分别表示对特征f进行平均池化和最大池化的结果，
w0、w1表示多层感知器mlp中不同层的权重，σ表示sigmoid函数，表示逐元素相乘，f7×7表示滤波器尺寸为7*7的卷积运算；avgpool(
·
)表示平均池化函数，maxpool(
·
)表示最大池化函数。
[0099]
二、输电线植被入侵检测模型的训练
[0100]
2.1样本数据收集
[0101]
为了对以上改进的b-cnn网络进行针对输电线植被侵入识别的训练，本实施例首先从不同的输电线环境下图像源手动收集训练数据。所收集的图像具有不同的分辨率和比例。从不同来源收集数据的原因是为了了解提取的特征在不同条件下的行为，这有助于找到通用的植被密度分类解决方案。
[0102]
本实施例中，在收集的12344个训练样本中，其中6172个样本包含高密度植被区域，其余样本包含低密度植被区域。数据集分为80％、20％的比例，其中80％的数据集用于培训，20％用于测试。在样本图像中标注出植被入侵区域信息以及输电线区域信息。
[0103]
2.2图像分块
[0104]
为了减少神经网络识别图像时的处理时间，本实施例对首先对图像进行分块处理。
[0105]
将输入图像划分为n
×
n像素的小块，其中小块的总数l代表总的分段数。如果输入图像为方形，则宽度w和高度h相等。小块总数可按计算。块与块之间的偏移控制为s，如果输入图像不是正方形，则小块的数量可以用计算。
[0106]
检测时间与切片面片图像的数量成正比，所以图像越多需要的执行时间越长，小块应当具有合理的大小。
[0107]
2.3glcm特征提取
[0108]
为了获得更加有效的特征，在后续网络识别时能够得到更准确的识别结果，本实施例对样本图像在输入神经网络前进行了glcm特征的提取。
[0109]
基于纹理的特征由glcm(灰度共生矩阵，grey-level co-occurrence matrix)特征组成，这些特征是：角二阶矩，熵，对比度，反差分矩阵和相关性。将贴片图像线性转换成为一维向量后，计算统计矩：平均值μ、标准偏差σ、方差σ2、三阶中心距μ3，偏度和峰度矩kurt。
[0110][0111][0112][0113]
μ3＝e(p
i-μ)3[0114]
[0115][0116]
其中，n是一维向量长度表示灰度级数，pi是向量元素表示对应灰度级i的灰度值。e表示求平均值函数；
[0117]
glcm描述了特定方向上频繁出现的值，该方法给出了相邻像素值之间关系的印象。我们提取零度作为glcm的一个固定的角度，glcm的元素记为p(i,j)，表示灰度级之间联合条件概率密度p(i,j|d,θ)，即在给定空间距离d和方向θ时，灰度以i为起始点(行)，出现灰度级j(列)的概率。glcm的阶数m等于灰度的等级数，所以n＝2m。glcm特征是从glcm中提取的，在这项工作中，提取了角二阶矩asm，熵ent，对比度con，反差分矩阵idm和相关性correlation：
[0118][0119][0120][0121][0122][0123]
式中，μ
x
表示glcm特征矩阵中第i行元素的平均值，σ
x
表示第i行元素的标准偏差，μy表示第j列元素的平均值，σy表示第j列元素的标准偏差。
[0124]
2.4神经网络训练
[0125]
将分块处理后的图像样本、样本标注信息以及所提取的样本glcm信息输入构建好的改进b-cnn网络，对改进b-cnn网络进行训练，直至收敛。
[0126]
三、实际应用
[0127]
如图1所示，在电力线走廊内，输电线被侵入的情形有低密度植被区和高密度植被区，在实际应用时，采集待检测的输电线环境图像，进行包括图像分块的预处理、glcm特征提取，然后将图像以及glcm特征输入已训练好的改进b-cnn模型，即可得到模型输出的识别结果，进而输出植被入侵区域已标注的图像，图图3所示。
[0128]
实施例2
[0129]
与实施例1基于相同的发明构思，本实施例介绍一种基于改进b-cnn算法的输电线植被入侵检测装置，包括：
[0130]
图像获取模块，被配置用于获取待检测的输电线环境图像；
[0131]
预处理模块，被配置用于对输电线环境图像进行预处理；
[0132]
glcm特征提取模块，被配置用于对预处理后的图像提取glcm特征；
[0133]
植被入侵检测模块，被配置用于将预处理后的输电线环境图像以及所提取的图像glcm特征输入预先训练的输电线植被入侵检测模型，得到模型输出的分类结果；
[0134]
以及，检测结果输出模块，被配置用于根据输电线植被入侵检测模型分类结果输
出植被侵入区域以及输电线区域分别被标记的图像。
[0135]
上述各功能模块的具体功能实现，以及输电线植被入侵检测模型的构建、训练和图像处理原理，均可参考实施例1中的相关内容。
[0136]
实施例3
[0137]
与实施例1和实施例2基于相同的发明构思，本实施例介绍一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例所述的基于改进b-cnn算法的输电线植被入侵检测方法。
[0138]
综上实施例，本发明能够实现对图像中输电线附近侵入的低密度和高密度植被区的识别，其检测效果与原图对比如图3所示，检测效率及准确度皆较传统技术有很大提升。
[0139]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0140]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0141]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0142]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0143]
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。