一种融合小波变换与复合损失的WLN-YOLOv11光伏组件PL缺陷检测方法及系统

摘要: 本发明涉及光伏组件缺陷检测,尤其涉及一种融合小波变换与复合损失的wln-yolov11光伏组件pl缺陷检测方法及系统。背景技术:1、光伏组件在出厂前需要进行缺陷...
一种融合小波变换与复合损失的WLN-YOLOv11光伏组件PL缺陷检测方法及系统

本发明涉及光伏组件缺陷检测,尤其涉及一种融合小波变换与复合损失的wln-yolov11光伏组件pl缺陷检测方法及系统。

背景技术:

1、光伏组件在出厂前需要进行缺陷检测,光致发光(pl)成像是常用的检测手段之一。pl成像通过激发电池片表面的光致发光效应,将缺陷区域与正常区域的发光强度差异转化为图像灰度差异,从而实现对缺陷的可视化识别。

2、在pl图像缺陷检测技术的发展过程中,基于深度学习的目标检测方法已逐步替代传统的人工目检方式。yolo系列算法因其检测速度与精度的平衡性,在工业缺陷检测领域得到了应用。然而,将通用目标检测模型直接应用于光伏pl图像缺陷检测时,存在以下技术问题:

3、其一,pl图像中的部分缺陷(如微米级隐裂、麻点等)在图像中占据的像素面积较小,且缺陷边缘与背景的灰度对比度低,特征信号弱。通用卷积网络在空间域内进行特征提取时,对这类微弱信号的捕获能力有限,容易产生漏检。

4、其二,pl图像中缺陷的尺度分布范围较广,从微米级的细小裂纹到毫米级的黑边、大饼片等缺陷共存于同一图像中。现有检测模型在特征融合阶段对不同尺度缺陷的特征响应不均衡,对较小尺度缺陷的特征增强不足。

5、其三,在模型训练过程中,边界框回归损失函数通常基于预测边界框与真实边界框之间的几何重叠面积进行计算。当缺陷目标较小时,边界框的微小偏移即可导致重叠面积发生较大幅度的变化,使损失函数的梯度出现剧烈波动,影响模型在小目标缺陷上的定位精度收敛。

6、因此,需要从特征提取、特征融合与训练优化三个方面对现有检测模型进行改进,以提高光伏pl图像中缺陷检测的准确性。

技术实现思路

1、为了解决上述现有技术中存在的技术问题,本发明提供一种融合小波变换与复合损失的wln-yolov11光伏组件pl缺陷检测方法及系统,能够从频率域与空间域联合提取缺陷特征,通过轻量化注意力机制增强多尺度缺陷的特征响应,并采用复合损失函数优化小目标缺陷的训练收敛性,提高光伏pl图像中各类缺陷的检测精度。

2、为解决上述技术问题,本发明采用如下技术方案:

3、一种融合小波变换与复合损失的wln-yolov11光伏组件pl缺陷检测方法,包括以下步骤:

4、获取待检测的光伏组件pl图像;

5、将所述pl图像输入经改进的yolov11缺陷检测模型进行缺陷检测,得到缺陷检测结果。所述经改进的yolov11缺陷检测模型以yolov11n模型为基线,在其骨干网络中引入小波变换构建有c3k2-wtconv模块,在颈部网络中引入轻量化通道桥接注意力机制构建有lcbam模块,并采用融合归一化wasserstein距离损失与inner-iou损失的n-inner复合损失函数训练得到;

6、下面结合本方法各步骤的执行过程,对上述技术方案中各技术特征的实现方式及其相互关系进行详细说明。

7、关于pl图像的获取,pl图像通过光致发光成像设备获取。在成像过程中,光伏组件受到特定波长的激发光源照射,电池片表面的完整区域与缺陷区域因载流子复合效率的差异而呈现出不同的发光强度。成像设备将上述发光强度分布转换为灰度图像,其中缺陷区域表现为与周围正常区域存在灰度差异的区域。获取到的pl图像随后作为缺陷检测模型的输入数据。

8、关于c3k2-wtconv模块在骨干网络中的特征提取过程,pl图像获取后,输入至缺陷检测模型的骨干网络进行特征提取。骨干网络是yolov11模型中对输入图像执行多层次特征提取的网络部分,其内部包含多个c3k2特征提取结构,每个c3k2结构通过堆叠的卷积层与残差连接逐步提取图像的高层语义特征。在本发明中,骨干网络中的c3k2模块被替换为c3k2-wtconv模块。c3k2-wtconv模块对输入特征图执行离散小波变换,将特征图分解为低频分量与多个高频分量。

9、具体而言,离散小波变换采用haar小波基对输入特征图进行二层频率分解,得到一个低频分量和三个高频分量:水平高频分量、垂直高频分量、对角高频分量。低频分量包含特征图中的整体轮廓与背景信息,水平高频分量反映特征图中水平方向的边缘变化,垂直高频分量反映垂直方向的边缘变化,对角高频分量x_hh反映对角方向的边缘变化。通过对特征图进行频率分解,原本在空间域中难以区分的微弱边缘信号被分离到不同的高频分量中,使得后续卷积操作能够针对不同方向的边缘特征分别进行处理。

10、随后,网络对各频率分量分别执行3×3卷积运算。由于不同频率分量所承载的信息类型不同,分别卷积的方式使网络能够学习到针对各频率分量的特征提取参数。与将所有分量混合后统一卷积的方式相比,分别卷积能够更充分地提取各频率分量中的缺陷相关特征。

11、卷积运算完成后,网络通过逆小波变换将各频率分量重构为与输入特征图同尺寸的特征图。逆小波变换是离散小波变换的逆过程,将经过卷积处理的低频分量与高频分量重新合成为空间域的特征图。重构后的特征图在尺寸上与输入特征图保持一致,以确保其能够在骨干网络中逐层向后续网络层传递。

12、c3k2-wtconv模块包含小波变换处理分支与原始特征路径。小波变换处理分支对输入特征图依次执行离散小波变换、卷积运算与逆小波变换,得到经小波变换处理的重构特征图。原始特征路径对输入特征图执行常规卷积操作,得到未经小波变换处理的原始特征图。小波变换处理分支的输出特征图与原始特征路径的输出特征图通过拼接操作融合,得到c3k2-wtconv模块的输出。拼接融合后,网络同时获取了空间域的特征信息与频率域的特征信息,两种特征在通道维度上相互补充,使网络在后续处理中能够综合利用两种信息来源分析缺陷特征。

13、在c3k2-wtconv模块的一种具体实现方式中,小波变换处理分支包括两条分支:wtbottleneck分支与wtc3k分支。wtbottleneck分支是在yolov11原有bottleneck结构(即残差网络中的基本构建单元,由两层卷积与一条跳跃连接组成)的基础上引入小波变换,对输入特征执行小波分解、卷积与重构。wtc3k分支是在yolov11原有c3k结构(即跨阶段局部融合结构,通过分组拼接实现多尺度特征融合)的基础上引入小波变换,采用不同的网络结构对小波分解后的各频率分量进行处理。两条分支的输出特征图通过拼接操作融合后,再与原始特征路径的输出特征图拼接,形成多路特征融合的输出。由于wtbottleneck分支与wtc3k分支的网络结构不同,两条分支对小波分解后的频率分量的处理方式存在差异,能够从不同粒度提取频率域特征,使融合后的特征表达更加丰富。

14、关于lcbam模块在颈部网络中的特征增强过程,骨干网络中的c3k2-wtconv模块完成特征提取后,输出的多尺度特征图传递至颈部网络,由颈部网络对其进行融合与增强处理。

15、颈部网络是yolov11模型中对骨干网络提取的多尺度特征执行融合与增强的网络部分。在本发明中,颈部网络中所有c3k2模块内的原始bottleneck结构被替换为lcbam模块,替换后各c3k2模块的堆叠数量与原始yolov11模型保持一致。

16、lcbam模块对输入通道的部分通道执行标准卷积,其余通道直接拼接。具体而言,lcbam模块仅对输入通道的四分之一执行标准卷积,其余四分之三通道不经过卷积处理,直接与卷积处理后的四分之一通道在通道维度上进行拼接。通过这种方式,通道维度的卷积计算量被压缩至原始规模的四分之一。直接拼接的通道保留了原始特征信息,经过卷积处理的通道则提取了更具判别性的特征,两者的拼接在保证特征多样性的同时降低了计算开销。

17、拼接后的特征图依次经过串联的通道注意力子模块与空间注意力子模块进行特征重标定。

18、通道注意力子模块对输入特征图分别执行全局平均池化与全局最大池化。全局平均池化反映各通道响应的整体分布情况,全局最大池化反映各通道响应的峰值情况。两种池化结果分别输入共享的多层感知机(multilayer perceptron,mlp,一种由多层全连接层组成的前馈神经网络,用于对输入特征进行非线性变换),由多层感知机分别对两种池化结果输出对应的处理结果,两个处理结果逐元素相加,相加结果经sigmoid激活函数处理,生成通道权重矩阵。通道权重矩阵中的每个元素对应输入特征图的一个通道,表示该通道对缺陷检测任务的贡献程度。将通道权重矩阵与输入特征图逐元素相乘,得到通道加权特征图,使贡献较大的通道特征得到增强,贡献较小的通道特征受到抑制。

19、空间注意力子模块对通道加权后的特征图沿通道维度分别执行平均池化和最大池化,将两种池化结果拼接。拼接后的特征图经过7×7卷积和sigmoid激活处理,生成空间权重矩阵。空间权重矩阵中的每个元素对应特征图的一个空间位置,表示该位置对缺陷检测任务的重要程度。将空间权重矩阵与通道加权特征图相乘,输出增强特征图。通过空间注意力处理,特征图中缺陷所在位置的特征响应得到增强,背景区域的特征响应受到抑制。

20、通道注意力子模块与空间注意力子模块串联设置,特征图先经过通道维度的筛选以确定需要关注的特征类型,再经过空间维度的聚焦以确定需要关注特征图中的哪些位置。两个子模块的串联使特征增强过程从通道维度到空间维度逐步细化,形成级联的特征筛选与聚焦处理。

21、关于n-inner复合损失函数在模型训练中的应用,颈部网络完成特征融合与增强后,增强后的特征图传递至模型的检测头进行缺陷定位与分类。而在模型投入使用之前,需要经过训练阶段以获得可靠的模型参数。

22、在模型训练阶段,采用n-inner复合损失函数对经改进的yolov11缺陷检测模型进行训练。n-inner复合损失函数由归一化wasserstein距离损失与inner-iou损失加权融合构成。

23、在归一化wasserstein距离损失的计算中,预测边界框被表示为均值m1、协方差σ1的二维高斯分布,真实边界框被表示为均值m2、协方差σ2的二维高斯分布。wasserstein距离的计算公式为:

24、

25、其中,为frobenius范数,即矩阵中各元素的平方和再取平方根。wasserstein距离衡量两个概率分布之间的距离,相较于基于几何重叠面积的度量方式,wasserstein距离在两个边界框之间存在微小偏移时能够提供连续且平滑的梯度信号,不会因偏移量较小而导致梯度消失或剧烈波动。对计算得到的wasserstein距离进行指数归一化处理,归一化常数c取值为12.8,得到归一化wasserstein距离损失。

26、inner-iou损失利用尺度因子对真实边界框与预测边界框分别执行中心对称收缩,生成对应的内部辅助框。中心对称收缩的含义是:以边界框的中心位置为缩放中心,保持中心位置不变,按照尺度因子对边界框的宽度和高度进行比例缩放。尺度因子的取值为0.8。对真实边界框进行中心对称收缩后得到真实内部辅助框,对预测边界框进行中心对称收缩后得到预测内部辅助框。计算预测内部辅助框与真实内部辅助框之间的交叠面积,基于交叠面积确定inner-iou损失。通过在内部辅助框层面计算损失,相较于直接在原始边界框层面计算,内部辅助框的尺寸更小,在相同偏移量下,内部辅助框之间的交叠面积对偏移更为敏感,能够为小目标缺陷的训练提供更充分的梯度信号。

27、n-inner复合损失函数按如下公式计算:

28、

29、其中,为平衡权重因子,用于调节两种损失在总损失中的占比。通过归一化wasserstein距离损失与inner-iou损失的加权融合,复合损失函数同时从概率分布距离与内部辅助框几何度量两个维度对边界框回归进行优化,对小目标缺陷的边界框偏移提供连续且敏感的梯度信号。

30、关于缺陷检测结果的输出,经训练后的yolov11缺陷检测模型对待检测的pl图像进行缺陷检测,通过检测头(yolov11模型末端用于输出检测结果的模块,负责将特征图转换为具体的缺陷类别与边界框坐标)输出缺陷检测结果。缺陷检测结果包括缺陷的类别信息与位置信息。位置信息以边界框坐标的形式表示,标注缺陷在pl图像中的位置区域。类别信息标识缺陷所属的缺陷类型。

31、本发明的一融合小波变换与复合损失的wln-yolov11光伏组件pl缺陷检测方法及缺陷检测方法具有以下技术效果:

32、第一,本发明通过c3k2-wtconv模块对输入特征图执行离散小波变换,将特征图分解为低频分量与高频分量并分别进行卷积处理,使网络能够在频率域中对不同方向的边缘特征进行分离提取。经逆小波变换重构后的特征图与原始特征路径的特征图拼接融合后,网络同时获取了空间域特征与频率域特征。对于pl图像中边缘对比度低的微小缺陷,频率域的分离提取能够增强缺陷边缘信号的响应强度,提高微小缺陷特征的捕获能力。

33、第二,本发明通过lcbam模块对输入通道的四分之一执行标准卷积、其余四分之三通道直接拼接,在保留原始特征信息的前提下降低了通道维度的卷积计算量。拼接后的特征图经过串联的通道注意力子模块与空间注意力子模块处理,通道注意力子模块根据各通道对缺陷检测的贡献程度生成通道权重并对特征图加权,空间注意力子模块根据各空间位置的重要程度生成空间权重并对特征图加权。通过通道维度与空间维度的串联注意力处理,缺陷相关特征得到增强,背景区域的特征响应受到抑制,有利于降低复杂背景对缺陷检测的干扰。

34、第三,本发明通过n-inner复合损失函数在模型训练中,使归一化wasserstein距离损失将边界框建模为概率分布并计算分布间距离,在边界框存在微小偏移时提供连续平滑的梯度,避免因偏移量较小导致的梯度消失问题。inner-iou损失通过尺度因子对边界框进行中心对称收缩生成内部辅助框,在内部辅助框层面计算交叠面积确定损失,使小目标缺陷在训练过程中能够获得更充分的梯度信号。两种损失的加权融合从概率分布距离与几何度量两个维度对边界框回归进行优化,提高模型对小目标缺陷的定位精度。