基于YOLO的光伏面板表面缺陷实时检测方法与流程

本发明涉及光伏面板缺陷检测，具体为基于yolo的光伏面板表面缺陷实时检测方法。

背景技术：

1、光伏面板表面缺陷的自动检测是保障光伏电站运行效率的重要环节。现有的基于深度学习的目标检测方法，例如采用单一yolo检测器对光伏面板图像进行端到端处理，虽然能够达到一定的实时性，但在面对微小裂纹、隐裂、栅线断栅等细微缺陷时，检测精度会明显下降。这主要是由于单一尺度网络的特征提取能力在应对尺寸差异极大且与背景纹理高度相似的缺陷时，难以同时捕捉全局上下文与局部细节信息。

2、在预处理阶段，常规方法通常仅将原始rgb图像直接送入检测网络，或仅做简单的归一化和增强处理。这类方式忽略了光伏面板表面缺陷在梯度变化和频域分布上的独特性。例如，许多微小缺陷仅表现为局部梯度方向的异常或特定频段能量的微弱变化，在空间域中极易被背景纹理淹没。现有技术未能系统性地从空间梯度和频域两个维度对原始图像进行联合特征挖掘，导致检测网络在最前端就已丢失有助于区分缺陷与背景的关键线索。

3、在后处理及多级检测架构方面，一些方案采用图像分块或多尺度推理来应对高分辨率图像中的微小目标，但分块策略容易割裂缺陷的全局形态，多尺度推理则显著增加计算开销，难以满足实时检测需求。同时，常规级联检测器往往采用结构相同的网络对同一区域反复处理，既造成参数冗余，又不能根据初检结果对局部区域进行自适应的精细化再分析，导致在保持高召回率的同时，误检率控制不佳。

4、为了解决上述问题，需要提供一种能够从多维特征层面强化微弱缺陷响应，并在多级检测框架下实现高效粗定位与高精度细分类的精确定位方法，使得光伏面板表面缺陷检测既能满足实时性要求，又能保持对各类微小缺陷的高检出率和低误报率。

技术实现思路

1、本发明提供一种基于yolo的光伏面板表面缺陷实时检测方法，其目的在于通过多维梯度流与频域特征的联合预处理，增强微弱缺陷在复杂背景中的可分辨性；同时，构建对抗训练优化的多分辨率初级检测器与参数独立的次级检测器级联架构，在保证实时处理的前提下，实现对光伏面板表面缺陷从粗到细的高精度定位与分类。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于yolo的光伏面板表面缺陷实时检测方法，包括：

3、实时获取光伏面板表面图像，采用集成多维梯度流与频域特征的预处理网络，对所述光伏面板表面图像进行空间域和频域的联合特征提取，得到多维特征图。该预处理网络通过计算水平与垂直方向梯度图，生成表征空间结构细节的二维梯度流张量，同时执行离散余弦变换并对低频成分进行增强处理，得到突显缺陷区域对比度的频域特征张量，将两者在通道维度拼接后，经嵌入网络融合，使得多维特征图同时具备对缺陷边缘的敏感度和对光照变化的鲁棒性。

4、将所述多维特征图输入至一个经对抗训练优化的多分辨率初级yolo检测器，所述多分辨率初级yolo检测器的特征金字塔网络接收多维特征图，并在不同尺度上对潜在缺陷区域进行粗粒度定位，生成初步缺陷区域边界框集合。作为优选的实施方式，特征金字塔网络通过自上而下的上采样与横向连接，生成包含多个尺度特征层的融合特征图，在最粗尺度特征层上利用锚点框机制和二元分类分支筛选前景候选框，进而在其余尺度特征层上对前景候选框进行逐步回归细化，结合非极大值抑制去重，以较低计算开销快速锁定所有疑似缺陷区域。

5、基于所述初步缺陷区域边界框集合，对光伏面板表面图像执行动态裁剪操作，得到各初步缺陷区域对应的子图像。优选的，对每个边界框按预设缩放比例向外扩展，并对超出图像边界的部分进行裁切处理，再将截取的图像块统一调整至固定输入尺寸，从而在保留缺陷周边上下文信息的同时，为次级检测器提供分辨率一致的高质量输入。

6、将各所述子图像输入至一个与多分辨率初级yolo检测器结构不同且参数独立的次级yolo检测器，所述次级yolo检测器对子图像执行细粒度缺陷分类与精确定位，输出各子图像的高置信度缺陷类别与精确边界框。作为本发明的进一步改进，次级yolo检测器在其骨干网络末端引入通道注意力模块，对输入特征图进行全局平均池化和一维卷积，生成通道权重向量并对特征图通道进行加权，增强对细微缺陷的判别能力；其检测头在增强后的细粒度特征图上预测多类别置信度和坐标偏移量，并通过设定较高阈值的置信度筛选，剔除虚警，输出高可靠性的缺陷类别与位置。

7、根据所述高置信度缺陷类别与精确边界框，聚合多分辨率初级yolo检测器和次级yolo检测器的输出结果，生成光伏面板表面缺陷的最终检测报告。优选的，将次级yolo检测器输出的精确边界框反投影至原始图像坐标系，得到高分辨率检测框，与初步缺陷区域边界框一并执行基于交并比的级联融合算法，剔除重叠度高于预设阈值的重复框，将融合后保留的边界框及其关联的高置信度缺陷类别按照预设报告格式封装。该两级协同检测架构兼顾了全局搜索速度与局部判别精度，能够在复杂环境下实现光伏面板表面缺陷的实时、准确检测。

8、作为对抗训练优化的优选方案，构建与多分辨率初级yolo检测器结构相同的对抗样本生成网络，根据真实标签生成对抗扰动图像并叠加至原图形成对抗样本，将其与原始图像混合构成训练数据集；训练时采用联合损失函数，将原始图像检测损失与对抗样本检测损失按等权重加权求和，使得初级检测器对光照变化、噪声等干扰具有更强的鲁棒性。

9、进一步地，在频域特征提取中，对光伏面板表面图像的每个颜色通道分别执行二维离散余弦变换，提取低频系数并进行线性放大，再与高频系数组合重建频域系数矩阵，以强化缺陷区域在频域中的低频频谱响应，提升微小裂纹、隐裂等缺陷的可检测性。次级yolo检测器的通道注意力模块对全局平均池化后的一维通道描述向量应用核大小为3的一维卷积，对相邻通道依赖关系建模，经sigmoid函数生成0到1之间的通道权重，实现自适应特征重标定，显著提高细粒度分类的准确率。

10、在上述技术方案中，本发明提供的技术效果和优点：

11、通过构建集成多维梯度流与频域特征的预处理网络，将图像在空间域的梯度方向变化与频域的低频增强信息进行通道级融合，使得光伏面板表面图像中的微弱缺陷得到强化表达。梯度流张量能够突出缺陷边缘及纹理走向的局部异常，频域特征张量则通过放大低频系数，将隐裂、暗纹等形态模糊但占据一定低频区域的缺陷从背景中剥离出来。这两种互补特征的联合输入，使后续检测网络获得的特征图在缺陷区域具有更高的激活响应，而对背景纹理的抑制能力更强，从而在不增加检测网络深度的前提下，显著提升微小缺陷的捕获能力。

12、多分辨率初级yolo检测器采用特征金字塔网络在不同尺度上进行粗粒度定位，并利用最粗尺度特征层的前景判别机制快速过滤大量无缺陷区域。在此基础上，根据粗定位结果对原始图像执行动态裁剪，仅将可能存在缺陷的局部子图像送入参数独立且结构不同的次级yolo检测器。次级检测器在其骨干网络末端引入通道注意力模块，通过全局平均池化和一维卷积显式建模通道间依赖关系，生成加权系数以增强对细粒度缺陷判别有利的通道响应，从而在局部分辨率固定的条件下，提升对裂纹宽度、栅线残缺等微小差异的区分精度。这种级联架构将全局粗筛选与局部精分析解耦，初级检测器负责高效扫描和区域提议，次级检测器则专注于小尺寸感兴趣区域的精细分类与位置回归，两级检测器参数独立，可分别针对不同分辨率分布和误检模式进行优化，克服了单一级联结构重复处理时精度与速度之间的矛盾。

13、初级检测器结合对抗训练优化，通过引入对抗样本生成的联合损失函数，使得模型在训练过程中学习对光照变化、面板污渍等扰动不敏感的特征分布，增强在户外自然条件下检测的鲁棒性。动态裁剪时，根据初步边界框自适应扩展并裁切边界，避免因裁剪位置不当割裂缺陷形态，保证子图像携带完整的局部缺陷结构，为次级检测器提供高质量输入。上述多维特征预处理与解耦式两级检测架构的协同运作，最终实现了在实时处理帧率下，对光伏面板表面各类微小缺陷的高召回率和高定位精度。