一种基于YOLOx_s增强目标特征检测的绝缘板缺陷识别方法

一种基于yolox_s增强目标特征检测的绝缘板缺陷识别方法
技术领域
1.本发明属于目标识别技术领域，具体涉及一种基于yolox_s增强目标特征检测的绝缘板缺陷识别方法。


背景技术：

2.目前，电力是人类生活中不可或缺的动力源，因而电网公司在电力运行工作方面压力巨大，包括对电力正常运行维持，电器设备检修与维护等。电力安全工器具是保证电力正常运行的基本工具，绝缘隔板属于基本电力安全工器具之一，它是一种耐高压击穿的防护作业隔离设备。在电力施工作业中，常用于变压器、分段开关等的相同隔离保护。还用于角铁横担上时带电设备进行隔离，如更换跌落保险，避雷器时用于对邻相的遮挡，以限制人的活动范围，并提高对邻相的绝缘水平。绝缘隔板也可置于拉开的刀闸动、静触头之间以防止刀闸自行落下后误送电。有些安全距离不够的工作需要在刀闸及位于刀闸下方的基座之间安装绝缘隔板，起到对作业者人身安全的保护作用。这样小小的一块绝缘挡板不仅有效的隔离了带电设备，为作业者提供了安全保障。还可以有效为不便于开展带电作业的地区提供了有利条件，拓展带电作业的作业项目。
3.合格的绝缘隔板表面应平整光滑，不允许有杂质、坑点和其他明显的缺陷，只允许有轻微的擦伤。针对绝缘隔板的表面，造成表面缺陷的原因是在工厂制造过程中以及运输过程中，由于加工或操作不当造成杂质、坑点或者划痕的缺陷。另外，由于在电力作业现场的使用过程中，高温高压环境下造成的溶胶以及电压击穿的缺陷。因此，对于这些绝缘隔板表面缺陷的精确检测能够有效防止残次品的流出以及优质品的使用，及时发现和更换出现缺陷的绝缘隔板，保障电力作业人员的安全，保证电网的正常运行，实现绝缘隔板全周期的智慧寿命管理。
4.缺陷检测技术属于目标检测领域，在该领域内，深度学习因其强大的特征提取能力和对原始图像的良好表征能力受到广泛研究，因而，研发出了基于深度学习的faster rcnn、yolo、ssd等目标检测网络，其中，yolo系列网络具有高实时性和结构简单的特点，并能实现良好的检测效果。yolox是一种高性能yolo网络，在coco数据集上性能超越yolov4和yolov5，原始的yolox网络虽然具有很高的检测精度，但将其运用于绝缘隔板表面缺陷检测任务中，依然在杂质和坑点这种小目标检测上存在检测能力不足的问题，而且对于中大目标的检测能力还需继续加强。目前的绝缘隔板检测方法是人工目视法，通过质检员的肉眼逐个完成对众多绝缘隔板的缺陷检测，然而这种方法容易受到人的精神力和疲劳程度的影响，造成漏检或错检，且工作效率较低，给工厂和电力公司带来经济损失和安全隐患。


技术实现要素：

5.针对现有技术中的上述不足，本发明提供的一种基于yolox_s增强目标特征检测的绝缘板缺陷识别方法解决了现有的绝缘板检测方法中在小目标缺陷检测能力上的不足的问题，并进一步加强中大目标的检测能力。
6.为了达到上述发明目的，本发明采用的技术方案为：一种基于yolox_s增强目标特征检测的绝缘板缺陷识别方法，包括以下步骤：
7.s1、采集绝缘板表面图像，对其进行预处理并构建数据集；
8.s2、构建并利用数据集训练基于yolox_s网络的绝缘板缺陷检测网络；
9.在所述绝缘板缺陷检测网络中，小目标检测的输出尺度上设置有rfb_s模块和注意力机制cbam模块，中大目标检测的输出尺度上设置有cot模块；
10.s3、将待检测的绝缘板表面图像输入至训练好的绝缘板缺陷检测网络中，获得包含缺陷类别和位置的绝缘板缺陷识别结果。
11.进一步地，所述步骤s2中绝缘板缺陷检测网络为基于yolox_s的形成的网络结构，包括主干网络、特征融合网络、小目标输出尺度网络以及中大目标输出尺度网络；
12.所述主干网络包括依次连接的输入层、focus层、conv2d_bn_silu层、第一resblock body单元、第二resblock body单元、第一cot_res body单元以及第二cot_res body单元；
13.所述第一resblock body单元和第二resblock body单元的输出端均还通过依次连接的rfb_s模块和注意力机制cbam模块与小目标输出尺度网络连接；
14.所述第一cot_res body单元和第二cot_res body单元的输出端还均与所述中大目标输出尺度网络连接；
15.所述中大目标输出尺度网络中的csp残差结构中设置有cot模块；
16.所述特征融合网络在小目标输出尺度网络和中大目标输出尺度网络的不同输出尺度上进行上下采样特征提取操作，经上下采样特征提取操作后的相同尺度再进行特征融合。
17.进一步地，所述第一resblock body单元、第二resblock body单元、第一cot_res body单元以及第二cot_res body单元的输出尺度分别为104*104、52*52、26*26以及13*13。
18.进一步地，所述小目标输出尺度网络和中大目标输出尺度网络中的上采样特征融合过程中的卷积操作为深度可分离卷积操作。
19.进一步地，所述深度可分离卷积操作的表达式为：
20.f
dsc
＝h*w*n(k2 c)
21.式中，h,w为输入高宽；k为卷积核大小；n为卷积核数量，c为通道数。
22.进一步地，所述小目标输出尺度网络和中大目标输出尺度网络中的特征融合过程中，中大目标输出尺度网络中的输出特征到小目标输出尺度网络的输出特征中的特征融合包括2倍和4倍上采样，小目标输出尺度网络到中大目标输出尺度网络输出特征中的特征融合包括2倍和4倍下采样。
23.进一步地，所述步骤s2中，通过动量随机梯度下降法和adam优化算法对所述绝缘板缺陷检测网络进行训练；
24.其中，动量随机梯度下降法的表达式为：
[0025][0026][0027]
式中，θn为梯度迭代更新第n次的值，为对第n次的梯度的求导，λ为动量参数，
取值区间为[0-1]，即保留上次梯度方向的程度，j(θ)为损失函数值，α为学习率；
[0028]
adam优化算法的表达式为：
[0029][0030][0031]vt*
＝v
t
/(1-β
1t
)
[0032]st*
＝s
t
/(1-β
2t
)
[0033][0034]
式中，v
t
为历史梯度的指数衰减平均值，β1和β2均为动量系数，表示损失函数在第t次时关于θ的梯度，s
t
为历史平方梯度的指数衰减平均值，v
t*
为对v
t
的偏差修正值，s
t*
为对s
t
的偏差修正值，β
1t
为初期偏差修正时指数衰减平均值的动量值，β
2t
为初期偏差修正时历史平方梯度的指数衰减平均值的动量值，ε为一个极小值，防止分母为零。
[0035]
进一步地，所述绝缘板缺陷检测网络中的分类损失函数为：
[0036][0037]
bce(p,y)＝bce(p
t
)＝-log(p
t
)
[0038]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0039]
式中，p为预测输出值，p
t
为对p取log函数的定义，y为实际值，bce(
·
)为二分类交叉熵损失函数，γ为调制系数，α
t
为正负样本权重参数，用以控制正负样本对总的损失的共享权重；fl(
·
)为focal loss损失函数。
[0040]
本发明的有益效果为：
[0041]
(1)本发明基于深度学习目标检测算法，针对绝缘隔板表面缺陷，建立基于改进的yolox_s的绝缘板缺陷检测网络，基于该检测网络，智能训练绝缘隔板表面缺陷数据集，再将网络性能达到最佳时的参数进行保存，即基于改进yolox_s的绝缘隔板缺陷检测网络，最后输入测试集进行网络性能测试。该方法增强了绝缘隔板的极小目标的检测能力，不仅适用于绝缘隔板生产时的缺陷检测，保证优质品流入市场，还适用于电力作业现场的绝缘隔板表面缺陷检测，及时发现和更换，保障电力作业人员的施工安全和电网的正常运行。
[0042]
(2)本发明的检测系统集成了深度学习、目标检测、注意力机制、轻量化、transformer架构等关键技术，能对基于改进yolox_s进行绝缘隔板表面缺陷的智能检测，实现了对基本电力安全工器具—绝缘隔板的自动化、智能化和信息化检测，代替传统的人工目视法，减少人力、物力等，效率提升数倍以上，检测精度提高了一个数量级。
附图说明
[0043]
图1为本发明提供的基于yolox_s增强目标特征检测的绝缘板缺陷识别方法流程图。
[0044]
图2为本发明提供的绝缘板缺陷检测网络结构示意图。
[0045]
图3为本发明提供的小目标输出尺度上的rfb_s模块示意图。
[0046]
图4为本发明提供的小目标输出尺度上的注意力机制cbrm模块示意图。
[0047]
图5为本发明提供的cot模块示意图。
[0048]
图6为本发明提供的残差结构单元，其中，(a)为resnet残差结构单元；(b)为cot模块的残差结构单元。
[0049]
图7为本发明提供的常规卷积方式示意图。
[0050]
图8为本发明提供的深度可分离卷积方式示意图，其中，(a)depthwise卷积；(b)pointwise卷积。
具体实施方式
[0051]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0052]
如图1所示，本发明实施例提供了一种基于yolox_s增强目标特征检测的绝缘板缺陷识别方法，包括以下步骤：
[0053]
s1、采集绝缘板表面图像，对其进行预处理并构建数据集；
[0054]
s2、构建并利用数据集训练基于yolox_s网络的绝缘板缺陷检测网络；
[0055]
在所述绝缘板缺陷检测网络中，小目标检测的输出尺度上设置有rfb_s模块和注意力机制cbam模块，中大目标检测的输出尺度上设置有cot模块；
[0056]
s3、将待检测的绝缘板表面图像输入至训练好的绝缘板缺陷检测网络中，获得包含缺陷类别和位置的绝缘板缺陷识别结果。
[0057]
本发明实施例的步骤s1包括以下内容：
[0058]
1)、统一绝缘隔板表面图像的规格，将自制和收集到的数据图片设置为640*640的大小，随后再输入网络中进行训练、验证和测试等操作；
[0059]
2)、设置数据集为训练集、验证集和测试集三个部分，其中，训练集、验证集这两部分和测试集这一部分的比例为8:2，而训练集和验证集的比例为8:2；
[0060]
3)由于深度学习模型需要大量数据集进行训练才会有好的效果，因此，本实施例中需要对数据集进行数据增强处理，即数据扩充，且只对训练集进行数据增强操作。数据增强技术用以扩充较少的数据集，高质量多数量的数据集能够让网络收敛更快，性能训练地更好，采用数据增强技术，主要包含对图片进行翻转，裁剪，亮度变换等操作。
[0061]
本实施例的步骤s2中的绝缘板缺陷检测网络为基于yolox_s的形成的网络结构，如图2所示，包括主干网络、特征融合网络、小目标输出尺度网络以及中大目标输出尺度网络；
[0062]
所述主干网络包括依次连接的输入层、focus层、conv2d_bn_silu层、第一resblock body单元、第二resblock body单元、第一cot_res body单元以及第二cot_res body单元；
[0063]
所述第一resblock body单元和第二resblock body单元的输出端均还通过依次连接的rfb_s模块和注意力机制cbam模块与小目标输出尺度网络连接；
[0064]
所述第一cot_res body单元和第二cot_res body单元的输出端还均与所述中大目标输出尺度网络连接；
[0065]
所述中大目标输出尺度网络中的csp残差结构中设置有cot模块；
[0066]
所述特征融合网络在小目标输出尺度网络和中大目标输出尺度网络的不同输出尺度上进行上下采样特征提取操作，经上下采样特征提取操作后的相同尺度再进行特征融合。
[0067]
在本发明实施例中，现有的yolox网络存在三个尺度输出，以832*832的图像大小为例，最终输出52*52,26*26,13*13三个尺度，分别用以检测小，中，大的目标，由于绝缘隔板坑点和杂质的缺陷所占像素点大约为8-20个像素点，因此在主干网络增加一个104*104的特征尺度输出，用以检测小目标的缺陷。因此，在上述绝缘板缺陷检测网络中第一resblock body单元、第二resblock body单元、第一cot_res body单元以及第二cot_res body单元的输出尺度分别为104*104、52*52、26*26以及13*13。由于小目标和极小目标的检测难度较大，对于这两类的特征提取较于中大目标存在着不充分的问题，因此，在104*104，52*52的尺度输出上连接一个rfb_s(receiptive field block)模块和注意力机制cbam(convolutional block attention module)模块，用以增强特征提取的效果；其中，rfb_s模块如图3所示，注意力机制cbam模块如图4所示。
[0068]
本实施例中的rfb_s模块的设计灵感来自于人类视觉的感受野结构，并借鉴了inception结构，在它的基础上添加了空洞卷积，从而有效地增加了感受野，获得更丰富的特征信息。空洞卷积是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路，利用添加空洞扩大感受野，让原本3*3的卷积核，在相同参数量和计算量下拥有5*5(dilated rate＝2)或者更大的感受野，从而无需下采样。
[0069]
本实施例中的注意力机制的核心重点就是让网络关注到它更需要关注的地方，一般而言，注意力机制可以分为通道注意力机制，空间注意力机制，以及二者的结合。注意力机制cbam模块是通道注意力机制和空间注意力机制进行一个结合，相比于se module只关注通道的注意力机制可以取得更好的效果。
[0070]
在本发明实施例中，为了实现对中大目标检测能力进一步提升，本发明实施例引入了cot模块，该模块首先在键(k)上采用3*3的卷积来建模静态上下文信息，然后将查询(q)和上下文信息建模之后的键进行concat，再使用两个连续的1*1卷积来自我注意，生成注意力矩阵，再与特征映射值(v)相乘生成动态上下文。静态和动态上下文信息最终被融合为输出。由于该模块要获得丰富的上下文信息以帮助实现目标的整体识别和定位，对于中大目标，其上下文信息关联性较强，能够发挥较大的作用，而对于小目标来说，其上下文信息关联性不强，很可能带来负面影响。因此本发明在负责检测中大目标的尺度上增加cot模块，具体操作是，在yolox网络中分别在26*26,13*13的csp残差结构层对常规3*3卷积进行替换，cot模块如图5，替换后的形成的cot_res模块如图6所示。
[0071]
在本发明实施例中，由于增加了一个输出尺度，需要更强的特征融合，以获得更丰富的特征信息，本实施例提供的网络结构中，小目标输出尺度网络和中大目标输出尺度网络中的特征融合过程中，中大目标输出尺度网络中的输出特征到小目标输出尺度网络的输出特征中的特征融合包括2倍和4倍上采样，小目标输出尺度网络到中大目标输出尺度网络输出特征中的特征融合包括2倍和4倍下采样。具体地，将13*13的输出进行4倍上采样与52*52的输出连接进行特征融合，相同地，将26*26的输出进行4倍上采样与104*104的输出连接进行特征融合；同理地，将经第一层特征融合后的104*104输出进行4倍下采样与经第一层特征融合后的26*26的输出连接，相同地，将52*52输出进行4倍下采样与13*13的进行连接，
进一步加强特征融合。
[0072]
在本发明实施例中，小目标输出尺度网络和中大目标输出尺度网络中的上采样特征融合过程中的卷积操作为深度可分离卷积操作，进而降低了网络的参数量和计算量，同时提升了计算速度。
[0073]
本发明实施例采用深度可分离卷积，形成了轻量化的网络结构，常规卷积方式如图7所示，深度可分离卷积方式如图8，两种卷积的计算量分别为：
[0074]fnormal
＝h*w*k2*n*c
[0075]fdsc
＝h*w*n(k2 c)
[0076]
式中，h,w为输入高宽；k为卷积核大小；n为卷积核数量，c为通道数。
[0077]
由此可以看出，本发明实施例提供的深度可分离卷积操作，在达到与常规卷积方式一样的效果时，计算量减少为原来的(k2 c)/(k2*c)倍。
[0078]
本发明实施例的步骤s2中，通过动量随机梯度下降法和adam优化算法对所述绝缘板缺陷检测网络进行训练；由于随机梯度下降法容易陷入局部最优值的局限性，引入了动量的思想，即保留上次更新的梯度方向，在进行下次更新时，下次的梯度方向将会结合上次梯度方向进行参数更新，即动量梯度下降法。动量项γ的取值决定了保留上部分更新的方向信息，取值区间为[0，1]，初始时可以取0.5，随着迭代逐渐增大。adam算法是动量梯度下降法和rmsprop算法的结合体，它不仅要保留历史梯度的指数衰减均值v
t
，还要保存一个指数衰减的历史平方梯度的平均s
t
，另外针对初期迭代v
t
和s
t
趋向于零的问题，adam算法还引入了偏差修正，以此在训练初期获得更好的统计。
[0079]
其中，动量随机梯度下降法的表达式为：
[0080][0081][0082]
式中，θn为梯度迭代更新第n次的值，为对第n次的梯度的求导，λ为动量参数，取值区间为[0-1]，即保留上次梯度方向的程度，j(θ)为损失函数值，α为学习率；
[0083]
adam优化算法的表达式为：
[0084][0085][0086]vt*
＝v
t
/(1-β
1t
)
[0087]st*
＝s
t
/(1-β
2t
)
[0088][0089]
式中，v
t
为历史梯度的指数衰减平均值，β1和β2均为动量系数，表示损失函数在第t次时关于θ的梯度，s
t
为历史平方梯度的指数衰减平均值，v
t*
为对v
t
的偏差修正值，s
t*
为对s
t
的偏差修正值，β
1t
为初期偏差修正时指数衰减平均值的动量值，β
2t
为初期偏差修正时历史平方梯度的指数衰减平均值的动量值，ε为一个极小值，防止分母为零。
[0090]
在本发明实施例中，在绝缘隔板缺陷检测任务中，图片的缺陷作为正样本，其他和背景作为负样本，若采取yolov4，v5的基准网络，则显然地，由于先验框大部分属于负样本，因此负样本主导着损失函数值的方向，这对检测效果很不利。而yolox采取的anchor-free
思想，使得这种负面影响有所缓和，但是却存在着易分类样本和难分类样本的不均衡，这就导致了易分类样本主导着损失函数值的方向，而要提升网络的检测准确率，就需要对难分类样本进行更准确的检测。因此，本发明中的绝缘板缺陷检测网络中的分类损失函数为focal损失函数，其表达式为：
[0091][0092]
bce(p,y)＝bce(p
t
)＝-log(p
t
)
[0093]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0094]
式中，p为预测输出值，p
t
为对p取log函数的定义，y为实际值，bce(
·
)为二分类交叉熵损失函数，γ为调制系数，α
t
为正负样本权重参数，用以控制正负样本对总的损失的共享权重；fl(
·
)为focal loss损失函数。
[0095]
在本发明实施例中，通过将验证集中的数据输入至网络中，以验证集的map值，召回率和精准率作为评价指标，得到网络的性能验证结果，进而对网络结构进行优化，以获得更准确的识别结果，其中，召回率和精准值计算公式为：
[0096][0097][0098]
式中，tp为真实的正样本，fp为错误的正样本，fn为错误的负样本。
[0099]
在本发明实施例中利用训练好的网络进行缺陷识别包括以下内容：
[0100]
(1)输入测试集测试网络性能，以测试集静态标注框标注和显示缺陷位置和类别。
[0101]
(2)摄像头实时性能检测，以测试集的绝缘隔板实物置于摄像头下，将网络改为视频检测模式，动态标注框标注和显示缺陷位置和类别。