一种基于CLIP与小波增强多分支融合的光伏电池缺陷分类方法

本发明涉及人工智能与工业视觉检测，具体涉及一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法。

背景技术：

1、光伏电池作为新能源发电的核心器件，其制造与服役过程中容易出现微裂纹、断栅、黑斑、隐裂等多种缺陷。缺陷不仅会降低组件发电效率，还会引发热斑效应、加速老化，甚至带来安全隐患。因此，对光伏电池缺陷进行准确、快速的自动化识别，对于提升产品良率、降低运维成本以及保障电站安全具有重要意义。

2、电致发光（el）成像能够在较高对比度下呈现电池片内部缺陷，是工业场景中常用的检测手段。然而，el图像中的缺陷形态多样、尺度差异大，且受成像噪声、亮度不均、纹理复杂等因素影响，导致缺陷特征的稳定提取与精确分类仍具有挑战。

3、近年来，深度学习方法在图像分类与缺陷检测领域取得显著进展，但现有技术仍存在如下不足：一方面，常规卷积神经网络在面对细小裂纹、弱对比缺陷时易出现漏检或误判；另一方面，部分方法依赖大量标注样本，难以适应实际产线中类别不平衡、样本稀缺或新增缺陷类别的场景。

4、视觉语言预训练模型（例如clip）通过联合学习图像与文本语义空间，在零样本/小样本识别上具有潜力，但直接采用该类模型进行工业缺陷分类时，仍可能存在文本语义与缺陷视觉模式不匹配、局部细粒度纹理表达不足以及多分支特征融合不充分等问题。

5、在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

6、仅使用单一视觉编码分支时，对细小缺陷的高频纹理信息提取不足，导致分类鲁棒性不高；仅使用固定类别文本提示时，文本语义与当前图像缺陷区域的对应关系弱，图文对齐误差较大；现有融合策略多采用简单拼接或线性加权，难以充分挖掘全局语义特征与局部纹理特征之间的互补关系。

技术实现思路

1、本发明的目的在于克服上述缺陷，提供了一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，以提高对细粒度缺陷的表征能力与图文对齐准确性，从而提升分类精度与泛化性能。

2、本发明采用的技术方案为：一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，包括以下步骤：

3、s1：获取待分类的光伏电池el图像数据及对应缺陷类别标签，并构建训练集、验证集和测试集；

4、s2：对输入的光伏电池el图像进行尺寸统一处理，并将图像转换为张量形式；

5、s3：对训练集图像执行数据增强操作，对验证集和测试集图像执行确定性变换；

6、s4：采用预设均值和预设方差对图像进行归一化处理，得到标准化图像；

7、s5：将缺陷类别标签构造成文本提示并输入clip文本编码器，得到各缺陷类别对应的文本特征；

8、s6：将标准化后的el图像输入clip图像编码器，提取全局图像特征和patch特征；

9、s7：将标准化后的el图像进行小波高频增强，提取并重建图像高频信息，之后输入resnet18网络提取局部纹理特征；

10、s8：将patch特征与文本特征输入视觉引导文本特征模块，对文本特征进行视觉引导调制，得到视觉引导文本特征；

11、s9：将全局图像特征与局部纹理特征输入特征交叉融合模块进行互补映射融合，得到融合图像特征；

12、s10：将视觉引导文本特征与融合图像特征输入clip-fsac++的注意力机制模块进行图文对齐，采用相似度计算方式得到各缺陷类别的分类得分，并根据所述分类得分输出缺陷类别结果。

13、进一步，在s3中，训练集图像的数据增强操作包括水平翻转、垂直翻转、旋转和颜色扰动中的一种或多种；验证集和测试集图像仅执行尺寸调整和张量转换，不执行随机增强操作。

14、进一步，在s4中，归一化处理的计算公式为：

15、；

16、其中，表示原始图像像素值，表示预设均值，表示预设标准差，表示归一化后的像素值。

17、进一步，在s7中，对输入的标准化后的el图像进行层小波分解，提取高频分量，并按照权重系数将所述高频分量注入重建图像中，以得到增强图像；其中，为正整数，为高频信息注入强度系数。

18、进一步，所述s8的具体步骤包括：

19、s81：将图像编码器输出的patch特征进行聚合或映射以获得与文本特征维度匹配的引导特征；

20、s82：将映射后的patch特征与文本特征进行逐元素乘积、线性调制或注意力加权，以获得视觉引导后的文本特征；

21、s83：将视觉引导后的文本特征作为图文对齐中的文本表示输入后续分类过程。

22、进一步，所述s9的具体步骤包括：

23、s91：将图像编码器输出的全局图像特征输入特征交叉融合模块；

24、s92：将卷积神经网络提取的局部纹理特征输入所述特征交叉融合模块；

25、s93：在所述特征交叉融合模块中，通过空间聚合子模块对局部空间信息进行整合；

26、s94：在所述特征交叉融合模块中，通过通道引导子模块对全局图像特征与局部纹理特征进行通道级互补映射与加权调制；

27、s95：输出融合后的统一维度图像特征。

28、进一步，在s10中，将视觉引导文本特征与融合图像特征输入clip-fsac++的注意力机制模块进行图文对齐，采用余弦相似度计算融合图像特征与各类别视觉引导文本特征进行相似度计算，计算公式为：

29、；

30、其中，表示融合图像特征，表示视觉引导文本特征，表示图像与文本之间的相似度分数；

31、对各类别相似度分数进行归一化处理后，选取最大分数对应的类别作为最终缺陷类别。

32、本发明产生的有益效果是：

33、（1）通过引入小波高频增强与局部纹理分支，有效强化细小缺陷的高频纹理响应，提高了对微裂纹等弱显著性缺陷的识别能力；

34、（2）通过视觉引导文本特征机制，使文本表示能够根据图像patch信息自适应调整，提升图文对齐的准确性与类别可分性；

35、（3）通过特征交叉融合模块对全局语义与局部纹理进行交叉互补映射融合，克服简单拼接/加权的局限，提高融合特征的判别力与鲁棒性；

36、（4）方法可输出标准化的分类结果与评价指标，便于在光伏制造质检与电站运维场景中部署应用。

1.一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于：在s3中，训练集图像的数据增强操作包括水平翻转、垂直翻转、旋转和颜色扰动中的一种或多种；验证集和测试集图像仅执行尺寸调整和张量转换，不执行随机增强操作。

3.根据权利要求1所述的一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于：在s4中，归一化处理的计算公式为：

4.根据权利要求1所述的一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于：在s7中，对输入的标准化后的el图像进行层小波分解，提取高频分量，并按照权重系数将所述高频分量注入重建图像中，以得到增强图像；其中，为正整数，为高频信息注入强度系数。

5.根据权利要求1所述的一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于：所述s8的具体步骤包括：

6.根据权利要求1所述的一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于：所述s9的具体步骤包括：

7.根据权利要求1所述的一种基于clip与小波增强多分支融合的光伏电池缺陷分类方法，其特征在于：在s10中，将视觉引导文本特征与融合图像特征输入clip-fsac++的注意力机制模块进行图文对齐，采用余弦相似度计算融合图像特征与各类别视觉引导文本特征进行相似度计算，计算公式为：