一种基于深度学习的导线漂浮物智能识别方法及装置与流程

1.本发明涉及目标识别技术领域，尤其涉及一种基于深度学习的导线漂浮物智能识别方法及装置。


背景技术：

2.现代社会严重依赖电力服务，只有可靠的电力服务才可以维持正常的生产、生活中的用电需求，为了向城市和农村提供可靠的电力服务，电力线路、输电塔和相关附件等重要电网部件的维护至关重要，然而，这些设施暴露在室外环境中很容易受到破坏，如输电导线上悬挂风筝，气球，塑料袋和广告布等漂浮物垃圾时，会损坏这些设施，并造成巨大的安全事故和经济损失。因此，要求对电力线系统进行实时监控，以便在出现导线漂浮物悬挂等危险情况时维修部门能及时清理，由于缺乏有效的输电线路检测方法，许多输电线路检测仍依赖人工巡检，该方法成本高，效率低。
3.近年来，随着深度学习的发展和卫星遥感影像在民用方面的普及应用，使得依靠深度学习处理卫星图像检测输电线路状态成为可能，然而，由于卫星遥感影像分辨率大、背景复杂，缺乏足够数量的带有导线悬挂物的样本图像训练深度学习网络，而充足的正负样本是保证目标检测算法精确度的关键，样本不足会导致训练出的网络性能不足，导线悬挂物在卫星遥感影像中相对面积小，呈现小目标的特点，现有网络模型对小目标的检测精度较低。现有的研究多集中于基于无人机航拍图像对导线悬挂物进行识别，比如，基于输电线路悬挂异物航拍图像的图像分割算法研究、基于无人机航拍图像提出了一种将导线漂浮物与图像背景分割的方法以及一种基于yolov4的输电线路异物检测方法。以上方法提取的目标仅为和导线漂浮物相似目标，其位置与导线的相对位置不确定，无法区分目标是否为导线漂浮物。


技术实现要素：

4.本发明目的在于，提供一种基于深度学习的导线漂浮物智能识别方法，以解决少样本训练集不足以及无法区分是否获取最终漂浮物的问题。
5.为实现上述目的，本发明提供一种基于深度学习的导线漂浮物智能识别方法，包括：
6.采用图像重组的方式将获取的卫星影像数据进行数据增强，获取训练集；
7.采用canny边缘检测算子处理所述训练集以获取目标导线；
8.根据特征金字塔模型将预设的ssd模型中的深层特征与浅层特征相融合，获取改进后的ssd模型，将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别，获取目标导线漂浮物；
9.若所述目标导线与所述目标导线漂浮物比对成功，则获取最终目标导线漂浮物。
10.优选地，所述获取最终目标导线漂浮物，具体为：
11.若所述目标导线的位置与所述目标导线漂浮物的位置重叠，若所述目标导线的位
置与所述目标导线漂浮物的位置重叠，则确定所述目标导线漂浮物为所述最终目标导线漂浮物，否则，确定所述将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别不准确。
12.优选地，所述采用图像重组的方式将获取的卫星影像数据进行数据增强，具体为：
13.对所述卫星影像数据进行预处理，获取预处理后的数据，将所述预处理后的数据中的目标数据与背景数据分割之后，再将分割后的目标数据与预设的背景数据进行融合。
14.优选地，对所述卫星影像数据进行预处理，具体为：对所述卫星影像数据进行灰度化、中值滤波以及高斯滤波处理。
15.优选地，所述将所述预处理后的数据中的目标数据与背景数据分割，具体为：
16.遍历所述预处理后的数据，采用模板匹配框选所述目标数据，建立所述预处理后的数据的目标框，并采用grabcut算法对所述目标框进行分割。
17.优选地，所述分割后的目标数据与预设的背景数据进行融合，具体为：
18.结合所述分割后的目标数据的像素点p
t
、所述预设的背景数据的像素点p
b
以及相应的权重系数进行融合，如下：
[0019][0020]
其中，p
new
表示所述训练集的像素点，α和β表示权重系数。
[0021]
优选地，所述采用canny边缘检测算子处理所述训练集以获取目标导线，具体为：
[0022]
采用高斯滤波对所述训练集去噪后，再计算梯度模和方向并保留梯度方向上的最大梯度值；
[0023]
采用滞后阈值将所述训练集中由于噪声干扰导致断裂的目标边缘进行缺失值填充，获取所述canny边缘检测算子处理结果；
[0024]
根据导线特性提取所述canny边缘检测算子处理结果中的导线，获取所述目标导线，其中，所述导线特性包括贯穿所述训练集的图像以及包含多条平行线。
[0025]
优选地，所述根据特征金字塔模型将预设的ssd模型中的深层特征与浅层特征相融合，具体为：
[0026]
采用双线性插值法获取所述深层特征的语义信息，并将所述语义信息传递至含位置信息的所述浅层特征进行融合。
[0027]
本发明还提供一种基于深度学习的导线漂浮物智能识别装置，包括：
[0028]
数据处理模块，用于采用图像重组的方式将获取的卫星影像数据进行数据增强，获取训练集；
[0029]
第一提取模块，用于采用canny边缘检测算子处理所述训练集以获取目标导线；
[0030]
第二提取模块，用于根据特征金字塔模型将预设的ssd模型中的深层特征与浅层特征相融合，获取改进后的ssd模型，将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别，获取目标导线漂浮物；
[0031]
比对模块，用于若所述目标导线与所述目标导线漂浮物比对成功，则获取最终目标导线漂浮物。
[0032]
优选地，所述比对模块，还用于：
[0033]
若所述目标导线的位置与所述目标导线漂浮物的位置重叠，若所述目标导线的位
置与所述目标导线漂浮物的位置重叠，则确定所述目标导线漂浮物为所述最终目标导线漂浮物，否则，确定所述将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别不准确。
[0034]
相对于现有技术，本发明的有益效果在于：
[0035]
本发明根据图像重组的方式实现目标与背景的重新组合，从而解决了现有技术中训练集不足的问题，同时为下述更好的训练模型提供基础，对含有丰富语义信息的深层特征图进行上采样后和含有丰富位置信息的浅层特征图进行有效融合，增加浅层特征语义信息提高检测小目标时的检测精度，获取改进后的ssd模型，通过提取导线与改进后的ssd模型的目标导线漂浮物进行比对，进而确认经改进后的ssd模型输出的结果为最终的目标导线漂浮物，提高了检测的精度以及检测的效率。
附图说明
[0036]
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1是本发明某一实施例提供的基于深度学习的导线漂浮物智能识别方法的流程示意图；
[0038]
图2是本发明另一实施例提供的canny边缘检测算子处理示意图；
[0039]
图3是本发明又一实施例提供的改进后的ssd模型示意图；
[0040]
图4是本发明某一实施例提供的双线性插值算法示意图；
[0041]
图5是本发明某一实施例提供的基于深度学习的导线漂浮物智能识别装置的结构示意图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0044]
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0045]
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0046]
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0047]
请参阅图1，本发明某一实施例提供一种基于深度学习的导线漂浮物智能识别方法，包括以下步骤：
[0048]
s101：采用图像重组的方式将获取的卫星影像数据进行数据增强，获取训练集。
[0049]
具体的，对卫星影像数据进行预处理、图像分割以及融合，具体如下：
[0050]
对输入的卫星影像数据进行灰度化、中值滤波以及高级滤波等预处理操作，然后遍历预处理后的数据，采用模板匹配框选目标数据，建立预处理后的数据的目标框，并采用grabcut算法对目标框进行分割，结合分割后的目标数据的像素点p
t
、预设的背景数据的像素点p
b
以及相应的权重系数进行融合，如下：
[0051][0052]
其中，p
new
表示训练集的像素点，α和β表示权重系数。将融合后的新的图像样本进行随机旋转、反转以及缩放。
[0053]
s102：采用canny边缘检测算子处理所述训练集以获取目标导线。
[0054]
请参阅图2，基于上述步骤处理过程，采用canny边缘检测算子提取导线，作为下述模型输出结果的比对基准，具体提取导线过程如下：
[0055]
采用高斯滤波对训练集去噪后，再采用边缘差分算子sobel以计算水平和垂直方向的差分获取梯度模和方向并采用非极大值抑制保留梯度方向上的最大梯度值，将其他像元删除，以及采用滞后阈值将训练集中由于噪声干扰导致断裂的目标边缘进行缺失值填充，获取canny边缘检测算子处理结果，根据导线特性提取canny边缘检测算子处理结果中的导线，获取目标导线，其中，导线特性包括近似直线、贯穿训练集的图像以及包含多条平行线。
[0056]
s103：根据特征金字塔模型将预设的ssd模型中的深层特征与浅层特征相融合，获取改进后的ssd模型，将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别，获取目标导线漂浮物。
[0057]
具体的，预设的ssd模型检测目标时，首先，采用不同尺度和纵横比的先验框预测目标的边界框，然后采用vgg作为特征提取网络，输入图像进入网络，分别采用6个不同图层的特征图来预测目标类别和坐标，最后，采用非最大值抑制(nms)方法进行最终检测。预设的ssd的主要思想是基于深层低分辨率特征图检测大目标，利用浅层高分辨率特征图检测小目标。然而，由于浅层特征图不包含丰富的语义信息，导致该模型在检测小目标时存在检测精度低的问题。
[0058]
图像里的目标尺寸大小各种各样，数据集里的物体不可能涵盖所有的尺度，所以利用图像金字塔(不同分辨率的下采样)来帮助cnn学习，但是这样的速度太慢了，所以通常只使用单一尺度来预测，也会取中间结果来预测，在几层残差模块后面加一层转置卷积，提高分辨率，得到分割的结果，或者通过1x1的卷积或globalpool得到分类的结果，这种架构在有辅助信息和辅助损失函数时被大量使用。
[0059]
特征金字塔模型的作者用一种很巧妙的办法提高了上述的方法，除了侧向的连接，还加入了自上而下的连接，把从上到下的结果和侧向得到的结果通过相加的办法融合到一起，这里的重点在于，低层次的特征图语义不够丰富，不能直接用于分类，而深层的特征更值得信赖，将侧向连接与自上而下的连接组合起来，就可以得到不同分辨率的特征图，而这些特征图都包含了原来最深层特征图的语义信息。
[0060]
借鉴特征金字塔模型，在小目标检测上优于预设的ssd目标检测算法，特征金字塔
模型主要用于解决物体检测中的图片不同尺度的问题，结合特征金字塔模型和预设的ssd模型，构建改进后的ssd模型，采用双线性插值法获取深层特征的语义信息，并将语义信息传递至含位置信息的浅层特征进行融合，对深层特征进行上采样，将深层特征信息传递到浅层特征，使浅层特征图包含了更多的语义特征，从而能够准确地捕捉到小目标。
[0061]
请参阅图3，ssd模型中的conv11_2对应的block11采取双线性插值向上采样与conv10_2进行融合变为block10，依次求block9、block8、block7、block4。通过以上方法将深层特征的语义信息和浅层特征高分辨率相融合，通过融合后得到的特征进行预测能提高小目标检测精度。
[0062]
请参阅图4，上采样时采用图像中已知点预测未知的点从而扩大图像尺寸，本发明采用双线插值法实现上采样，假设图4中的q点为已知点，r点为x轴方向插入点，计算如下：
[0063][0064][0065][0066]
式中，p为所求未知点，x,x1,x2,y,y1,y2分别表示横纵坐标点，f表示各点的像素值。
[0067]
s104：若所述目标导线与所述目标导线漂浮物比对成功，则获取最终目标导线漂浮物。
[0068]
具体的，由于在上述步骤中求解出的目标导线漂浮物为相似目标，利用网络模型无法判断获取的目标导线漂浮物是否为真正漂浮在导线上的目标，因此，基于步骤s101关于卫星影像数据的处理方法，通过使用canny边缘检测算子提取导线，作为本步骤筛选最终目标的基准，若目标导线的位置与目标导线漂浮物的位置重叠，则判断目标导线漂浮物为最终目标导线漂浮物，否则判断将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别不准确，通过模型获取的目标漂浮物不是最终的目标，去除无关可疑的目标，提高检测的准确度。
[0069]
本发明采用模板匹配和grabcut算法分割得到仅含有少量背景信息的目标图像，再将得到的目标图像与新背景图像进行像素点融合得到新的图像以扩充训练集，解决卫星遥感影像样本少，训练集不足的问题，借鉴特征金字塔模型，将深层特征图上采样后与浅层特征进行融合，增加浅层特征的语义信息以提高模型对卫星遥感影像中导线漂浮物等小目标的检测精度，通过比较导线位置与可疑目标位置作为筛选最终导线漂浮物的条件，能够去除深度学习提取到的无关目标，提高检测效率。
[0070]
请参阅图5，本发明另一实施例提供一种基于深度学习的导线漂浮物智能识别装置，包括：
[0071]
数据处理模块11，用于采用图像重组的方式将获取的卫星影像数据进行数据增强，获取训练集。
[0072]
第一提取模块12，用于采用canny边缘检测算子处理所述训练集以获取目标导线。
[0073]
第二提取模块13，用于根据特征金字塔模型将预设的ssd模型中的深层特征与浅
层特征相融合，获取改进后的ssd模型，将所述训练集输入所述改进后的ssd模型中进行导线漂浮物识别，获取目标导线漂浮物。
[0074]
比对模块14，用于若所述目标导线与所述目标导线漂浮物比对成功，则获取最终目标导线漂浮物。
[0075]
关于基于深度学习的导线漂浮物智能识别装置的具体限定可以参见上文中对于的限定，在此不再赘述。上述基于深度学习的导线漂浮物智能识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0076]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。