输电线路小目标缺陷检测的方法及系统

1.本发明涉及输电线路小目标缺陷检测技术领域，尤其涉及一种输电线路小目标缺陷检测的方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.对于电力输电线路场景，其输电杆塔结构上存在大量的螺栓连接构件等体积较小的目标本体，它们的状态对于杆塔结构的稳定性及输电线的稳固性有着极大的影响，对于它们的缺陷检测是进行电力故障巡检的重要工作之一。
4.现有的对于输电线路本体缺陷的检测，易受到视角、背景、遮挡等因素影响，不能完全暴露于摄像头视野，且金具间以及金具与线路中其他部件的颜色或外形高度相似，加之室外环境光照不均且光源不稳等问题，导致识别准确率较低。
5.采用神经网络算法进行检测时，一个性能理想的神经网络一般包含上亿个参数，占用几万兆字节的存储空间，计算能耗很高，难以直接部署到内存、功率较小的边缘计算平台上；而一旦对神经网络进行轻量化设计后，又削弱了网络的表达能力，降低了目标识别的准确率。
6.采用单一的神经网络检测方案，受限于目标的尺寸变化，以及环境背景的干扰因素，漏检率比较高；如果采用复杂度较高的神经网络，对于小目标检测能力的提升有限，同时由于复杂度较高，会存在计算量大、实时性差的缺点。


技术实现要素：

7.为了解决上述问题，本发明提出了一种输电线路小目标缺陷检测的方法及系统，基于深度卷积神经网络的细粒度识别算法，提升杆塔周边常见目标本体缺陷的识别率；在对神经网络进行轻量化的同时，扩充目标本体缺陷数据库，提高轻量化网络的泛化能力，通过完备的数据集弥补网络轻量化造成的表达能力损失，以确保输电线路目标本体缺陷的有效识别。
8.在一些实施方式中，采用如下技术方案：
9.一种输电线路小目标缺陷检测的方法，包括：
10.获取输电线路图像数据并进行预处理；
11.将预处理后的图像数据输入至训练好的第一阶段目标检测模型，得到包含目标对象的多个关键区域，将得到的关键区域按照设定的原则重新组合排列，形成新的图像；
12.将新的图像输入至训练好的第二阶段目标检测模型，得到目标缺陷识别结果。
13.在另一些实施方式中，采用如下技术方案：
14.一种输电线路小目标缺陷检测的系统，包括：
15.数据获取模块，用于获取输电线路图像数据并进行预处理；
16.第一阶段图像处理模块，将预处理后的图像数据输入至训练好的第一阶段目标检测模型，得到包含目标对象的多个关键区域，将得到的关键区域按照设定的原则重新组合排列，形成新的图像；
17.第二阶段图像处理模块，将新的图像输入至训练好的第二阶段目标检测模型，得到目标缺陷识别结果。
18.在另一些实施方式中，采用如下技术方案：
19.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的输电线路小目标缺陷检测的方法。
20.在另一些实施方式中，采用如下技术方案：
21.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的输电线路小目标缺陷检测的方法。
22.与现有技术相比，本发明的有益效果是：
23.(1)本发明通过第一阶段目标检测模型先定位到关键区域，并将关键区域按照一定的规律进行重新提取并按比例重新分配位置；由于保留了原始图像的像素信息，因此不存在信息的缺失，为第二阶段的检测提供了非常好的样本。
24.(2)本发明考虑到位于关键区域边界上的小目标可能会被削减或者丢失其边界，于是扩充了边缘像素，并且重新进行检测，这样可以有效保证完整的目标被检测出来。
25.(3)本发明在原始图像的同一位置上覆盖率较高的框进行nms非极大值抑制算法，不会出现重复检测的情况，同时能够有效防止漏检的发生。
26.本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
27.图1为本发明实施例中的输电线路小目标缺陷检测的方法过程示意图；
28.图2(a)为测试图片，图2(b)-(c)分别为新增注意力机制后的检测结果与未增加注意力机制模块的检测结果的梯度可视化。
具体实施方式
29.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
30.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
31.实施例一
32.在基于深度学习的目标检测任务实现过程中，往往面临如下问题：目标分类任务中，通常由于图像采集过程中光照条件、拍摄视角、距离的不同，物体自身的非刚体形变以及其他物体的部分遮挡，使得物体实例的表观特征产生很大的变化，给视觉识别算法带来
了极大的困难，这就需要加强算法性能。为了更大程度上利用高分辨率图片的语义信息，避免神经网络进行无效的卷积以及缩放操作，本实施例提出了一种先定位到候选区域再进行检测的算法。
33.基于此，在一个或多个实施方式中，公开了一种输电线路小目标缺陷检测的方法，参照图1，包括：
34.(1)获取输电线路图像数据并进行预处理；
35.本实施例中，通过摄像机获取输电线路场景下的高分辨率图片，分辨率在2k及以上；对其进行图像翻转、裁剪等空间预处理以及模糊、更改饱和度等像素预处理操作，预处理后的图像变为低分辨率图像，分辨率在416*416；转换后的低分辨率图像保证小目标缺陷区域在面积上有较高的占比，保证至少拥有一到两个目标检测对象。
36.本实施例中，小目标检测对象为螺栓，缺陷类型包括螺栓连接构件的缺失，如插入的销钉的缺失、不合理或松动的安装方式，以及输电导线的磨损、烧损，支架上的鸟巢，绝缘子的缺陷等。
37.(2)将预处理后的图像数据输入至训练好的第一阶段目标检测模型，得到包含目标对象的多个关键区域，将得到的关键区域按照设定的原则重新组合排列，形成新的图像；
38.本实施例中，首先对关键区域进行定位，每一个关键区域至少包含一个目标对象。
39.第一阶段目标检测模型采用卷积神经网络模型，由于目标主体在图像中往往存在一些重要区域，因此本实施例在神经网络中添加注意力机制，通过网络根据损失去学习权重，使得有效的特征图权重放大，无效或效果小的特征图权重变小的方式来训练模型，以达到更好的性能。
40.本实施例在原始网络基本结构与瓶颈层之间，新增了注意力模块。选择该位置的原因在于瓶颈层进行上采样操作，会引入更多的参数，不适合引入更多的模型结构与参数，而基本结构的最后一层语义信息丰富，参数量较小，比较适合新网络结构的引入。将基本结构最后一层得到的特征图的每个通道赋予新的权重，该权重可以随着神经网路反向传播过程学习，从而区分注意力与背景信息。从直观来看，就是不同的纹理、颜色、形状等信息加以更直接的权重进行区分，从而提升精度。
41.本实施例中，对于第一阶段目标检测模型的训练过程为首先进行数据标注，然后模型训练，最后得到定位的关键区域。
42.摄像机获取图像数据，将原始数据的部分区域进行标注，该标注的数据是图像中的关键区域，用于粗略定位小目标区域，关键区域内往往包含不止一处小目标，因而可以作为第二阶段检测的初始输入数据。
43.对于第一阶段的数据来源，一部分来自于电网提供的数据集进行半人工标注，因为有相关技术人员对有缺陷部位进行了标注，因此首先提取图片所有像素点上的颜色和形状，具体方法使用的是opencv的函数，由于标注区域与未标注区域之间在连通性与颜色上有着非常大的差异，比如红色矩形或黄色圆形，因此可以将标注的像素所在位置得到，最终得到训练所需的数据集。另一部分数据来源是得到最后的结果之后，经过聚类算法得到，然后反馈到第一阶段目标检测模型作为模型训练的数据。
44.(3)将新的图像输入至训练好的第二阶段目标检测模型，得到目标缺陷识别结果。
45.由于第一阶段得到的关键区域在图片中分布与在原图中所占的比例不均匀，于是
需要将第一阶段得到的一个个关键区域，重新组合排列。重新组合的逻辑是从一张全白的背景图的左上角起，按从左到右，从上到下的顺序依次排列组合关键区域，不考虑关键区域边界之间的空间关系，因为边界与关键区域内部的缺陷小目标没有关系。考虑到组合过程中遇到的超出背景和空白余量，我们进行自适应的缩放与补偿算法。当排列到一行的最左侧时，计算当前剩余的空白区域与将要放置的第一阶段结果关键区域的尺寸，如果关键区域过大，则将其缩小，如果空间足够，则无需缩小。当排列到一列的最下侧时，同样进行相同的计算比较。如果剩余空间小于10个像素点，则停止放置，如果一张空白背景图不够，则需要创建第二页背景图继续放置。
46.在分配位置时，需要按照一定的规则，混合更多的定位区域图像。在重新分配位置时，考虑到位于定位区域边界上的小目标可能会被削减或者丢失其边界，于是扩充每一个关键区域的边缘像素，并且重新进行检测；目的是防止在将原始图像分割成关键区域的时候，导致最终检测的小目标被切割开来，从而导致漏检的情况。
47.本实施例通过对目标对象螺栓的尺寸进行了数据统计，得到螺栓的长宽众数，将该数据作为扩充像素多少的依据，这样可以有效保证完整的目标被检测出来。
48.本实施例中，将识别出来的目标缺陷，重新解析到原始图像中后，采用nms非极大值抑制算法对原始图像同一位置上覆盖率较高的目标检测框进行抑制，过滤掉在重复位置上置信度较低的框。
49.具体地，当把画布上小目标检测框在关键区域上的相对位置映射回原始图像上的绝对位置后，会由于扩充导致一些框在原图尺度上产生了重叠，这时通过神经网络计算得到的置信度与重叠程度，可以过滤掉在重复位置上置信度较低的框，因此不会出现重复检测的情况，也可以防止漏检的发生。
50.本实施例中，第二阶段目标检测模型采用卷积神经网络模型，同样可以在神经网络中添加注意力机制，通过网络根据损失去学习权重，使得有效的特征图权重放大，无效或效果小的特征图权重变小的方式来训练模型，以达到更好的性能，具体方法与第二阶段目标检测模型相同，不再详述。
51.图2(a)为测试用图片，图2(b)-(c)分别对新增注意力机制后的检测结果与未增加注意力机制模块的检测结果进行了梯度可视化，结果表明，新增注意力机制后的检测结果更加有效。
52.本实施例中，通过剪枝和量化两种方案分别对第一阶段目标检测模型和第二阶段目标检测模型进行轻量化设计。
53.深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。经过剪枝后，模型参数量下降30％以上的同时，不会有精度的降低。
54.本实施例中，将原始的神经网络目标检测框架进行剪枝，即不需要覆盖多尺度的感受野，可以将三个尺度的瓶颈层减少为仅剩一个尺度检测的瓶颈层。
55.权重的量化是将权重的连续取值近似为有限多个离散值的过程,离散值的二进制位数决定了量化的精度,nnie定点运算的精度为8-bit。量化的过程是先将整个幅度划分成有限个小幅度(量化阶距)的集合，把落入某个阶距内的样值归为一类,并赋予相同的量化
值。
56.yolo等onestage系列的算法是基于anchor即锚框进行的模型推理，一般具有三个anchor，分别覆盖图片中大中小不同尺度的目标。最大的anchor所得到的结果为例，神经网络推理将会得到[1
×
21
×
13
×
13](1类目标检测)的向量，第二维含义是有3个ratio，长度为4 1 c的数据向量，其实4为坐标信息，分别问在grid内的x，y和相对的宽度和高度；1为作为前景目标的得分，c为类别信息。在数据提取时，我们希望属于此时scale和grid里的数据是连续的，这样我们就不需要频繁的进行数组访问，但是神经网络卷积得到的结果是不能满足这个需求的，因此在神经网络最后增加reshape层和permute层(0,3,1,2)，即可较为高效的处理数据。
[0057]
(3)将识别出来的目标缺陷，重新解析到原始图像中，得到最终的图像数据；基于最终的图像数据，采用基于密度的空间聚类算法，对检测目标进行空间密度聚类，得到检测目标的聚类结果，该结果为检测目标以及它们附近的背景信息，这些背景信息是第一阶段检测任务所需要的“关键区域”数据，因此可以将其作为第一阶段目标检测模型的训练数据，从而为提高第一阶段模型精度提供更多的数据集，弥补第一阶段数据的不足。
[0058]
实施例二
[0059]
在一个或多个实施方式中，公开了一种输电线路小目标缺陷检测的系统，包括：
[0060]
数据获取模块，用于获取输电线路图像数据并进行预处理；
[0061]
第一阶段图像处理模块，将预处理后的图像数据输入至训练好的第一阶段目标检测模型，得到包含目标对象的多个关键区域，将得到的关键区域按照设定的原则重新组合排列，形成新的图像；
[0062]
第二阶段图像处理模块，将新的图像输入至训练好的第二阶段目标检测模型，得到目标缺陷识别结果。
[0063]
上述模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。
[0064]
本实施例中，选取低功耗普通摄像头，配备嵌入式边缘处理设备作为输电线路图像获取与视频数据处理的核心平台，在边缘侧前端核心处理与存储单元共同部署实施例一种的缺陷检测算法，能够在太阳能电池的低功耗限制下，实现输电线路本体细粒度识别和缺陷的实时检测，将异常检测结果通过无线传输单元传输至云端服务器/移动端软件系统，用户可在移动终端对图像进一步筛查。
[0065]
实施例三
[0066]
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的输电线路小目标缺陷检测的方法。为了简洁，在此不再赘述。
[0067]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0068]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0069]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者
软件形式的指令完成。
[0070]
实施例四
[0071]
在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的输电线路小目标缺陷检测的方法。
[0072]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。