一种基于深度神经网络的光伏组件缺陷识别方法及系统与流程

本发明涉及光伏组件缺陷识别，尤其涉及一种基于深度神经网络的光伏组件缺陷识别方法及系统。

背景技术：

1、光伏组件缺陷识别技术领域涵盖对太阳能电池板在生产制造以及日常运行过程中产生的物理损伤与异常状态进行检测的完整流程，该领域的核心事项包含待测图像的采集输入、图像底层几何特征的提取计算以及判定分类结果的输出，整体上系统性地结合电致发光成像设备、红外热成像仪与图像解析手段，针对隐裂、碎片、热斑、断栅以及电极脱落等组件异常现象进行像素级特征解析。其中，传统光伏组件缺陷识别方法是指针对光伏组件在制造和使用过程中产生的物理与电气异常现象的技术事项。

2、常规模型依靠浅层网络提取特征交由深层网络抽象分类，面对存在水渍污痕的表面，污痕形态与真实隐裂具有视觉相似性，网络前端卷积核对两类物理成因相异的结构产生相近强度的边缘激活响应，浅层滤波响应同质化使得前端无法将隐裂边缘与污痕边缘有效解耦，特征逐层传递时污痕特征在深层编码中占据主导进而淹没微弱隐裂信号，致使模型难以区分干扰纹理与真实缺陷，造成隐裂漏检与污痕误报。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种基于深度神经网络的光伏组件缺陷识别方法及系统。

2、为了实现上述目的，本发明采用了如下技术方案，一种基于深度神经网络的光伏组件缺陷识别方法，包括以下步骤：

3、s1：采集清洗处理后的光伏组件可见光图像，根据人类视觉感知特性生成加权灰度图像，对所述加权灰度图像进行对比度调节、反光干扰点约束和滤波去噪处理，获取去噪灰度图像，并按分块裁剪窗口尺寸与滑动步长参数生成单通道灰度图像分块；

4、s2：根据所述单通道灰度图像分块计算结构管状度量分数，筛选各个平滑尺度下所述结构管状度量分数的局部极大值，得到区域线状响应强度分布图，并对所述区域线状响应强度分布图进行二值化处理、形态学闭运算及连通域标记，得到候选线段像素坐标及骨架拓扑信息；

5、s3：根据所述候选线段像素坐标及骨架拓扑信息，提取候选线段边缘陡峭度、线段宽度变异系数、灰度区域不对称度、周边环境湿润方差与空间密度分布特征，构建五维物理差异特征向量；

6、s4：根据所述五维物理差异特征向量获取归一化特征评估参数，结合环境评价权重参数集合、隐裂评价权重参数集合、环境判定阈值与隐裂判定阈值，对所述候选线段像素坐标及骨架拓扑信息进行候选分类，并根据候选分类结果生成空间属性掩码矩阵；

7、s5：将所述单通道灰度图像分块与所述空间属性掩码矩阵输入深度卷积特征提取网络，生成受保护调制特征图张量，并将所述受保护调制特征图张量作为特征提取基准，以提取隐裂目标深层拓扑语义特征，并通过特征金字塔多尺度检测头结构和全局坐标偏移量，对所述隐裂目标深层拓扑语义特征进行包含边界框坐标回归与置信度评估的检测，以获取局部候选框坐标，并利用仿射变换将所述局部候选框坐标进行全局坐标映射，得到光伏组件隐裂缺陷特征定位与识别结果。

8、本发明改进有，所述s1的具体步骤为：

9、s111：采集清洗处理后的光伏组件的可见光图像，根据人类视觉感知特性计算所述光伏组件可见光图像中各个色彩通道的加权平均数值，得到加权灰度图像；

10、s112：获取对比度限制阈值，比较所述加权灰度图像中的像素点局部对比度与所述对比度限制阈值，将大于所述对比度限制阈值的所述像素点局部对比度进行限幅下调，以在限幅下调处理后的所述加权灰度图像中约束由所述局部对比度异常增高所表征的光伏组件表面残留水滴的反光干扰点，利用限制对比度自适应直方图均衡化算法调节经过所述反光干扰点的约束处理后的所述加权灰度图像的对比度，获取目标对比度灰度图像，针对所述目标对比度灰度图像利用双边滤波器在空间域与像素值域应用高斯平滑核滤除所述目标对比度灰度图像中的背景噪点，生成去噪灰度图像；

11、s113：获取分块裁剪窗口尺寸与滑动步长参数，根据所述分块裁剪窗口尺寸与所述滑动步长参数，以所述分块裁剪窗口尺寸为包围框基准，按照所述滑动步长参数的步长数值在所述去噪灰度图像上进行滑动窗口切分，对所述去噪灰度图像进行裁剪，生成单通道灰度图像分块。

12、本发明改进有，所述s2的具体步骤为：

13、s211：计算所述单通道灰度图像分块中各个像素点的二阶偏导数方向向量，组装得到二维海森矩阵，根据特征值方程求解所述二维海森矩阵，生成沿结构走向特征值与跨越结构走向特征值；

14、s212：计算所述跨越结构走向特征值的绝对值与所述沿结构走向特征值的绝对值之间的比值，获取用于表征对应像素点属于管状结构概率分布的结构管状度量分数，遍历尺度平滑空间中的多个平滑尺度，通过比较各个所述平滑尺度下计算得到的所述结构管状度量分数的数值大小，筛选各个平滑尺度下所述结构管状度量分数的局部极大值，建立区域线状响应强度分布图；

15、s213：利用局部自适应阈值算法，对所述区域线状响应强度分布图进行二值化处理获取二值化图像，设定形态学结构元素，并利用所述形态学结构元素对所述二值化图像执行先膨胀后腐蚀的操作，依据形态学闭运算方式连接所述二值化图像中的断裂像素区间，得到候选线段对象，利用连通域标记算法，分析所述候选线段对象的连通拓扑连接关系，获取候选线段像素坐标及骨架拓扑信息。

16、本发明改进有，所述利用局部自适应阈值算法，对所述区域线状响应强度分布图进行二值化处理获取二值化图像的过程具体为：

17、获取样本隐裂宽度平均值作为基准宽度参量，依据所述基准宽度参量的比例换算尺度计算自适应局部窗口尺寸参数；

18、依据所述自适应局部窗口尺寸参数划分局部区域网格，计算所述局部区域网格内全体像素点的强度总和均值生成局部响应强度均值；

19、提取无缺陷背景的噪点均值映射生成自适应偏置常数，计算所述局部响应强度均值与所述自适应偏置常数的差值数值生成局部二值化判定阈值；

20、比较局部中心像素点的强度数值与所述局部二值化判定阈值的数值大小，将强度数值大于所述局部二值化判定阈值的像素点分配前景逻辑值，将其他处于低数值的像素点分配背景逻辑值，组合所述前景逻辑值与所述背景逻辑值生成二值化图像；

21、所述设定形态学结构元素的过程具体为：

22、提取隐裂历史走势的角度数值均值作为形态学方向参量，获取像素断裂区域的最大物理间隔距离作为形态学长度参量，提取所述形态学方向参量与所述形态学长度参量的维度属性参数联合构建形态学结构元素。

23、本发明改进有，所述s3的具体步骤为：

24、s311：解析所述候选线段像素坐标及骨架拓扑信息，提取所述候选线段对象在骨架拓扑路径上的法线延伸灰度剖面曲线，计算所述法线延伸灰度剖面曲线中各个相邻像素点的阶跃差值，计算所述阶跃差值的绝对值均值，获取候选线段边缘陡峭度，提取所述法线延伸灰度剖面曲线两侧边缘背景区域内的第一背景灰度均值与第二背景灰度均值，计算所述第一背景灰度均值与所述第二背景灰度均值之间的差值绝对值，得到灰度区域不对称度；

25、s312：基于距离变换运算方法获取所述候选线段对象的像素宽度分布序列，计算所述像素宽度分布序列的标准差与所述像素宽度分布序列的平均宽度之间的比值，获取线段宽度变异系数，针对所述候选线段对象提取对应的空间占据掩码，对所述空间占据掩码进行膨胀处理获取膨胀掩码区域，根据所述膨胀掩码区域提取对应的环状背景区域，计算所述环状背景区域内像素灰度值的离散方差数值，得到周边环境湿润方差；

26、s313：针对当前候选线段对象设定的感受半径空间邻域，判断所述感受半径空间邻域内的所有像素点是否具有区别于当前候选线段对象的其他候选线段对象的归属标识，并据此统计属于所述其他候选线段对象的关联像素总数，计算所述关联像素总数与对应感受邻域总面积之间的面积占比值，获取空间密度分布特征，拼接所述候选线段边缘陡峭度、所述线段宽度变异系数、所述灰度区域不对称度、所述周边环境湿润方差与所述空间密度分布特征，生成五维物理差异特征向量。

27、本发明改进有，所述s4的具体步骤为：

28、s411：将所述五维物理差异特征向量映射至统一的连续数值区间内获取归一化特征评估参数，获取多元线性回归模型中的环境评价权重参数集合与隐裂评价权重参数集合，从所述归一化特征评估参数中提取对应的环境维度评估参量，计算所述环境维度评估参量与所述环境评价权重参数集合中各个权重参数的加权乘积之和，得出表面环境干扰倾向得分，从所述归一化特征评估参数中提取对应的隐裂维度评估参量，计算所述隐裂维度评估参量与所述隐裂评价权重参数集合中各个权重参数的加权乘积之和，得到内部隐裂倾向得分；

29、s412：获取设定的环境判定阈值与隐裂判定阈值，根据所述表面环境干扰倾向得分大于所述环境判定阈值时的数值比较结果，获取环境干扰状态候选分类，根据所述内部隐裂倾向得分大于所述隐裂判定阈值时的数值比较结果，获取可疑隐裂状态候选分类，针对所述表面环境干扰倾向得分与所述内部隐裂倾向得分均不满足对应阈值条件的情况，得出不确定状态候选分类；

30、s413：依据所述环境干扰状态候选分类、所述可疑隐裂状态候选分类以及所述不确定状态候选分类对应的分类属性类别，为所述候选线段像素坐标及骨架拓扑信息分配与所述分类属性类别相映射的空间占位标记值，结合所述空间占位标记值在二维投影平面空间进行投影坐标映射操作，生成空间属性掩码矩阵。

31、本发明改进有，所述获取设定的环境判定阈值与隐裂判定阈值的过程具体为：

32、提取历史干扰样本的表面环境干扰倾向得分的统计均值，获取所述历史干扰样本的表面环境干扰倾向得分的离散标准差；

33、计算所述统计均值与所述离散标准差的加和数值，生成环境判定阈值；

34、提取历史隐裂样本的内部隐裂倾向得分的分布下限值，获取设定的容错偏差比例；

35、计算所述分布下限值与所述容错偏差比例的乘积数值，生成隐裂判定阈值；

36、所述针对所述表面环境干扰倾向得分与所述内部隐裂倾向得分均不满足对应阈值条件的情况，得出不确定状态候选分类的过程具体为：

37、计算所述表面环境干扰倾向得分减去所述环境判定阈值的数值生成第一差值；

38、计算所述内部隐裂倾向得分减去所述隐裂判定阈值的数值生成第二差值；

39、在判定所述第一差值小于零且所述第二差值小于零的条件下，将对应的候选线段对象赋予标记得出不确定状态候选分类。

40、本发明改进有，所述s5的具体步骤为：

41、s511：将所述单通道灰度图像分块输入深度卷积特征提取网络的前端卷积模块，计算所述单通道灰度图像分块中像素阵列的图像灰度分布梯度变化量，提取浅层图像特征图张量，对所述空间属性掩码矩阵进行降采样处理获取降采样掩码矩阵，获取预设标签映射规则，依据所述预设标签映射规则检索所述降采样掩码矩阵中元素的类别标签，并依据检索出的类别标签为所述降采样掩码矩阵分配对应的调制强度系数，获取空间干预调制权重张量，计算所述空间干预调制权重张量与所述浅层图像特征图张量之间的逐元素乘积数值，生成受保护调制特征图张量；

42、s512：利用所述深度卷积特征提取网络中的深层抽象残差块，对所述受保护调制特征图张量进行处理，提取隐裂目标深层拓扑语义特征，依据所述深度卷积特征提取网络包含的特征金字塔多尺度检测头结构，计算所述隐裂目标深层拓扑语义特征的候选边界框相对坐标位置偏移量以及区域存在隐裂的概率置信水平判定分数，获取候选边界框相对坐标位置偏移量与概率置信水平判定分数；

43、s513：获取所述单通道灰度图像分块的全局坐标偏移量，利用全局仿射坐标映射方式，结合所述全局坐标偏移量与所述候选边界框相对坐标位置偏移量进行向量叠加操作还原至全局坐标系，对所述候选边界框相对坐标位置偏移量与所述概率置信水平判定分数进行处理，得出光伏组件隐裂缺陷特征定位与识别结果。

44、本发明改进有，所述对所述空间属性掩码矩阵进行降采样处理获取降采样掩码矩阵的过程具体为：

45、获取所述浅层图像特征图张量的特征图宽度数值与特征图高度数值，将所述特征图宽度数值与所述特征图高度数值组合生成目标对齐分辨率；

46、按照所述目标对齐分辨率在所述空间属性掩码矩阵上划分出多个局部池化窗口；

47、提取各个所述局部池化窗口内的局部空间占位标记值，统计所述局部空间占位标记值中出现频次最高的目标占位标记值；

48、将所述目标占位标记值填入对应所述局部池化窗口的网格位置，遍历所有局部池化窗口生成降采样掩码矩阵；

49、所述依据检索出的类别标签为所述降采样掩码矩阵分配对应的调制强度系数的过程具体为：

50、提取历史环境干扰样本数据中的抑制衰减比率，将所述抑制衰减比率设定为第一调制系数；

51、提取历史缺陷样本数据中的信号放大倍率，将所述信号放大倍率设定为第二调制系数；

52、提取预设的恒定保留常数，将所述恒定保留常数设定为第三调制系数；

53、判断所述检索出的类别标签与环境干扰属性的对应关系，在确定所述检索出的类别标签对应所述环境干扰属性时，将所述第一调制系数作为调制强度系数分配至所述降采样掩码矩阵中对应的元素坐标位置；

54、判断所述检索出的类别标签与可疑隐裂属性的对应关系，在确定所述检索出的类别标签对应所述可疑隐裂属性时，将所述第二调制系数作为调制强度系数分配至所述降采样掩码矩阵中对应的元素坐标位置；

55、判断所述检索出的类别标签与不确定背景属性的对应关系，在确定所述检索出的类别标签对应所述不确定背景属性时，将所述第三调制系数作为调制强度系数分配至所述降采样掩码矩阵中对应的元素坐标位置。

56、一种基于深度神经网络的光伏组件缺陷识别系统，所述基于深度神经网络的光伏组件缺陷识别系统用于实现上述基于深度神经网络的光伏组件缺陷识别方法，所述系统包括：

57、初始图像整备模块，采集清洗处理后的光伏组件可见光图像，根据人类视觉感知特性生成加权灰度图像，对所述加权灰度图像进行对比度调节、反光干扰点约束和滤波去噪处理，获取去噪灰度图像，并按分块裁剪窗口尺寸与滑动步长参数生成单通道灰度图像分块；

58、线性结构解析模块，根据所述单通道灰度图像分块计算结构管状度量分数，筛选各个平滑尺度下所述结构管状度量分数的局部极大值，得到区域线状响应强度分布图，并对所述区域线状响应强度分布图进行二值化处理、形态学闭运算及连通域标记，得到候选线段像素坐标及骨架拓扑信息；

59、差异属性评估模块，根据所述候选线段像素坐标及骨架拓扑信息，提取候选线段边缘陡峭度、线段宽度变异系数、灰度区域不对称度、周边环境湿润方差与空间密度分布特征，构建五维物理差异特征向量；

60、干扰倾向判别模块，根据所述五维物理差异特征向量获取归一化特征评估参数，结合环境评价权重参数集合、隐裂评价权重参数集合、环境判定阈值与隐裂判定阈值，对所述候选线段像素坐标及骨架拓扑信息进行候选分类，并根据候选分类结果生成空间属性掩码矩阵；

61、融合检测定位模块，将所述单通道灰度图像分块与所述空间属性掩码矩阵输入深度卷积特征提取网络，生成受保护调制特征图张量，并将所述受保护调制特征图张量作为特征提取基准，以提取隐裂目标深层拓扑语义特征，并通过特征金字塔多尺度检测头结构和全局坐标偏移量，对所述隐裂目标深层拓扑语义特征进行包含边界框坐标回归与置信度评估的检测，以获取局部候选框坐标，并利用仿射变换将所述局部候选框坐标进行全局坐标映射，得到光伏组件隐裂缺陷特征定位与识别结果。

62、与现有技术相比，本发明的优点和积极效果在于：

63、本发明中，通过对含干扰影像执行去噪处理生成图像分块，计算结构管状度量分数解析骨架拓扑信息，构建含边缘陡峭度及湿润方差参量的物理差异特征向量，结合权重参数分类生成空间属性掩码，将掩码与分块图像同步汇入卷积网络执行受保护调制，阻断污痕相似边缘在特征编码环节的错误激活传播，凭借掩码抑制表面干扰在网络深层占据主导，在语义空间内增强隐裂信号权重，依靠多尺度检测回归输出精确缺陷定位，克服滤波同质化引发的特征淹没困境，消除隐裂漏检与误报现象。