基于跨尺度特征交互的光伏组件EL缺陷检测方法及系统

摘要: 本发明涉及光伏组件智能检测与计算机视觉,具体涉及基于跨尺度特征交互的光伏组件el缺陷检测方法及系统。背景技术:1、光伏发电作为重要的清洁能源形式得到了广泛应用,...
基于跨尺度特征交互的光伏组件EL缺陷检测方法及系统

本发明涉及光伏组件智能检测与计算机视觉,具体涉及基于跨尺度特征交互的光伏组件el缺陷检测方法及系统。

背景技术:

1、光伏发电作为重要的清洁能源形式得到了广泛应用,光伏组件在长期运行过程中,受到温度变化、机械应力、材料老化、环境污染及外部冲击等因素影响,容易产生微裂纹、断栅、黑斑、热斑及组件破损等缺陷。上述缺陷会导致光伏组件发电效率下降,严重时还会引发局部过热及安全隐患,因此需要对光伏组件进行高效、准确的缺陷检测。

2、目前,光伏组件缺陷检测方式主要包括人工巡检、红外热成像检测以及传统图像处理检测方法。人工巡检依赖工作人员经验,存在检测效率低、主观性强及人工成本高等问题;红外热成像检测设备价格较高,且检测结果容易受到环境因素影响;传统图像处理方法主要依赖人工设计特征,在复杂背景、小尺寸目标及低对比度场景下鲁棒性较差,难以满足实际工业检测需求。

3、近年来,随着深度学习技术的发展,基于卷积神经网络的目标检测方法逐渐应用于工业视觉检测领域。其中,yolo系列算法由于具有检测速度快、端到端结构以及实时性能优异等特点,被广泛应用于工业缺陷检测任务中。然而,现有目标检测算法在光伏组件el缺陷检测任务中仍存在如下问题:光伏板缺陷目标尺寸较小,边缘模糊,难以实现精确定位;不同类型缺陷尺度差异较大,传统网络难以实现有效多尺度特征融合;光伏组件el(electroluminescence,el)图像背景纹理复杂,容易产生误检与漏检;传统检测头分类任务与定位任务耦合严重,影响检测精度;现有检测系统缺少实时视频流处理能力及图形化交互功能,难以满足工业部署需求。

4、因此,亟需一种兼顾检测精度、实时性能、轻量化部署能力以及工程化应用能力的光伏组件电致发光缺陷检测方法及系统。

技术实现思路

1、本发明所要解决的技术问题在于:如何解决现有光伏组件缺陷检测过程中存在的小目标缺陷检测精度低、跨尺度特征交互能力不足、复杂背景下误检率较高等问题,提供了基于跨尺度特征交互的光伏组件el缺陷检测方法,该方法基于改进yolo11n目标检测网络,通过引入eca-fpsconv特征增强模块、c2msla多尺度特征提取模块、csi-fdpn跨尺度特征交互动态金字塔网络以及dshead轻量化解耦检测头,实现光伏组件el缺陷的高精度检测与定位。

2、本发明是通过以下技术方案解决上述技术问题的,本发明包括以下步骤:

3、s1:采集光伏组件的el图像及视频流数据,视频流数据中包括多帧el图像,对el图像进行预处理;

4、s2:在原始yolo11n目标检测网络的基础上,引入eca-fpsconv多尺度特征增强模块、c2msla特征提取模块、csi-fdpn跨尺度特征交互动态金字塔网络与dshead轻量化解耦检测头,进而构建改进yolo11n目标检测网络;

5、s3:将预处理后的el图像输入改进yolo11n目标检测网络,输出检测结果;

6、s4:对输出的检测结果进行解析与筛选,输出缺陷对应的类别、位置及置信度相关信息。

7、更进一步地,在所述步骤s1中,预处理包括图像尺寸缩放、归一化处理、数据格式转换及张量化处理。

8、更进一步地,在所述步骤s2中,改进yolo11n目标检测网络包括backbone部分、neck部分以及dshead部分;输入el图像经过backbone部分进行多层特征提取后,输出p3、p4及p5多尺度特征层,其中,p3、p4及p5分别表示浅层、中层及深层特征层;eca-fpsconv多尺度特征增强模块与c2msla特征提取模块设置在backbone部分的深层特征提取阶段;p3、p4及p5多尺度特征层输入csi-fdpn跨尺度特征交互动态金字塔网络经特征融合后输出增强后的多尺度特征图,并传输至dshead轻量化解耦检测头。

9、更进一步地,所述eca-fpsconv多尺度特征增强模块的处理过程如下:

10、s211:通过1×1卷积对输入通道进行压缩;

11、s212:采用多个共享权重的3×3空洞卷积分支进行级联特征提取,空洞卷积膨胀率分别设置为1、3及5,提取多尺度上下文语义信息;

12、s213:在每个空洞卷积分支的输出端,引入eca通道注意力机制,通过全局平均池化与一维卷积建立通道之间的局部交互关系,计算不同通道的重要性权重,实现对关键缺陷特征的增强,所述关键缺陷特征包括缺陷区域的局部纹理、边缘、灰度变化以及缺陷区域与周围正常区域之间的结构差异特征;

13、s214:对各空洞卷积分支的输出进行融合,得到增强后的特征图。

14、更进一步地,所述c2msla特征提取模块的处理过程如下:

15、s221:将输入特征沿通道维度划分为两部分,其中一部分通过残差连接直接输出,保留原始特征信息;另一部分进入特征提取分支进行深层特征学习;

16、s222:在特征提取分支中,采用3×3、5×5、7×7及9×9深度卷积核对不同尺度局部区域进行并行建模,获取不同感受野下的局部上下文信息;

17、s223:通过线性注意力机制对不同尺度特征之间的相关性进行建模,实现长距离依赖信息交,并对相应缺陷区域进行特征增强,得到多尺度注意力特征;

18、s224:将多尺度注意力特征进行拼接融合,并通过1×1卷积实现通道整合,生成增强后的输出特征图。

19、更进一步地,所述csi-fdpn跨尺度特征交互动态金字塔网络的处理过程如下:

20、s231:通过csai动态聚合模块对p3、p4及p5多尺度特征层进行动态融合;

21、s232:构建双向特征扩散路径,上采样路径将深层语义信息传播至浅层特征,下采样路径则将浅层边缘与纹理信息反馈至深层特征,实现跨尺度特征交互;

22、s233:经过双向扩散后,再次通过csai动态聚合模块对扩散后的特征进行动态融合与特征精炼;

23、s234:最终输出增强后的p3、p4及p5多尺度特征图。

24、更进一步地,在所述csai动态聚合模块中,取消传统通道分组策略,在统一特征空间内直接对完整特征表示进行跨尺度语义交互,通过中层语义引导机制调节浅层细节信息与深层语义信息之间的贡献关系,实现不同层级特征之间的自适应跨尺度聚合与语义通信。

25、更进一步地,所述dshead轻量化解耦检测头包括分类分支与回归分支,其中分类分支用于输出缺陷类别概率,回归分支用于输出缺陷边界框坐标;回归分支采用深度可分离卷积进行特征提取,将标准卷积拆分为逐通道卷积与逐点卷积,并结合distributionfocal loss对边界框位置进行离散概率分布建模;分类分支采用1×1卷积结构进行类别预测;分类分支与回归分支的输出结果共同构成检测结果。

26、更进一步地,在所述步骤s4中,通过非极大值抑制算法对重复边界框进行筛选,并输出缺陷类别、边界框坐标、缺陷中心点位置、缺陷面积及缺陷置信度信息。

27、本发明还提供了基于跨尺度特征交互的光伏组件el缺陷检测系统,用于实现上述的检测方法,包括输入采集模块、缺陷检测模块、本地gui交互模块、远程接口模块、视频流管理模块及数据存储模块;

28、所述输入采集模块,用于获取光伏组件el图像或视频流数据;

29、所述缺陷检测模块,基于改进yolo11n目标检测网络,实现对光伏组件电致发光缺陷的检测;

30、所述本地gui交互模块,用于实现检测结果显示、参数配置、检测控制及运行状态监控,并用于获取并显示gpu占用率、显存占用率以及模型推理fps,以反映检测系统运行过程中的计算资源使用情况及模型推理性能;

31、所述远程接口模块,用于实现http接口通信及mjpeg视频流推送;

32、所述视频流管理模块,用于实现视频流读取、视频帧缓存、多线程检测及视频流生命周期管理;

33、所述数据存储模块,用于存储检测结果图像、缺陷类别信息、检测日志及视频来源信息。

34、本发明还提供了一种计算机程序产品,包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时,实现上述检测方法的步骤。

35、本发明相比现有技术具有以下优点:

36、(1)本发明基于改进yolo11n目标检测网络,通过引入eca-fpsconv多尺度特征增强模块、c2msla特征提取模块、csi-fdpn特征融合结构以及dshead轻量化解耦检测头,增强了模型对微裂纹、断栅及低对比度缺陷的特征表达能力,提高了复杂背景下小目标缺陷的检测精度。

37、(2)本发明通过多尺度动态特征融合与双向特征扩散机制,实现浅层细节信息与深层语义信息之间的跨层级交互,有效降低复杂el图像中的误检率与漏检率,提升模型鲁棒性。

38、(3)本发明采用轻量化解耦检测头与深度可分离卷积结构,在保证检测精度的同时降低模型参数量与计算复杂度,提高模型推理速度及边缘设备部署能力。

39、(4)本发明结合pyside6图形化交互平台与flask远程服务模块,实现检测结果实时显示、视频流推送、远程访问及检测日志管理,具备良好的工程应用能力与工业部署价值。