一种自适应采样与特征增强的光伏电池片PL图像缺陷检测方法

摘要: 本发明涉及计算机视觉与光伏电池片检测,尤其涉及一种自适应采样与特征增强的光伏电池片pl图像缺陷检测方法。背景技术:1、光致发光(pl)成像是光伏电池片缺陷检测的...
一种自适应采样与特征增强的光伏电池片PL图像缺陷检测方法

本发明涉及计算机视觉与光伏电池片检测,尤其涉及一种自适应采样与特征增强的光伏电池片pl图像缺陷检测方法。

背景技术:

1、光致发光(pl)成像是光伏电池片缺陷检测的主要手段之一,通过采集电池片表面发出的荧光图像来判断缺陷的存在和分布。在pl图像中,大饼片、打火片等缺陷面积较大、亮度差异明显,相对容易识别。但隐裂、麻点等缺陷尺寸较小,仅表现为微弱的亮度变化,与周围正常区域的对比度很低,特征信号容易被光照不均匀和背景噪声淹没。

2、基于深度学习的目标检测方法已被应用于光伏电池片的缺陷检测。yolov8n作为yolov8系列中参数量最小的版本,推理速度快、部署成本低,在实际产线中有较好的应用前景。然而,标准yolov8n模型在处理pl图像时存在三方面不足。

3、在特征提取环节,yolov8n的c2f(跨阶段部分连接)特征提取模块对所有通道和空间位置的特征采用相同的处理方式,缺乏对不同通道和空间位置的差异化筛选机制,pl图像中本就微弱的缺陷特征容易在多层卷积过程中被更强的背景响应所淹没。同时,该模块没有针对低对比度边缘的增强机制,隐裂等缺陷的轮廓信息在特征提取过程中容易丢失。

4、在特征融合环节,yolov8n的颈部网络采用最近邻插值或双线性插值进行上采样,采样网格固定不变,不会根据特征图的实际内容做出调整。缺陷区域往往只占特征图中很小的面积,固定网格的上采样无法在缺陷附近保留足够的细节信息,导致上采样后缺陷特征进一步模糊,影响检测头对小目标的定位能力。

5、在特征精修环节,标准yolov8n在空间金字塔池化快速层之后直接将特征送入检测头,缺少对特征的筛选和细化过程。经池化聚合后的语义特征中包含大量与缺陷无关的背景信息,这些冗余信息传递到检测头后增加了区分缺陷与背景的难度,导致误检和漏检率偏高。

技术实现思路

1、为了解决上述现有技术中存在的技术问题,本发明提供一种自适应采样与特征增强的光伏电池片pl图像缺陷检测方法,能够在光伏电池片pl图像的缺陷检测过程中,通过主干网络中通道与空间双重注意力加权结合边缘增强残差融合的方式增强弱缺陷特征的表达,通过颈部网络中基于特征语义的动态上采样方式保留缺陷细节信息,通过双重注意力串行级联机制对高层语义特征进行逐级精修,提高对微小缺陷和低对比度缺陷的检测能力。

2、本发明公开一种自适应采样与特征增强的光伏电池片pl图像缺陷检测方法,将光伏电池片的光致发光pl图像输入缺陷检测网络进行检测,所述缺陷检测网络包括主干网络、颈部网络和检测头,包括以下步骤:

3、通过所述主干网络对所述pl图像进行多尺度特征提取,并在特征提取阶段对输入特征进行通道维度的特征选择和空间维度的特征选择,获得注意力增强特征;提取所述输入特征的边缘响应特征,并将所述边缘响应特征与所述注意力增强特征进行残差融合,获得弱缺陷增强特征;

4、在所述颈部网络对不同空间尺度的特征进行自顶向下的多尺度特征融合过程中,针对待上采样特征图,根据所述待上采样特征图的语义信息生成像素级偏移量,将所述像素级偏移量与基础采样网格组合以确定动态采样位置,根据所述动态采样位置对所述待上采样特征图进行重采样,并将重采样得到的特征与对应空间尺度的特征进行融合;

5、在主干网络的高层语义特征聚合之后、检测头之前,采用串行级联的双重注意力机制对特征进行逐级精修:第一阶段对特征进行基于通道维度和空间维度的加权筛选,获得第一提纯特征;以所述第一提纯特征为输入,基于所述第一提纯特征的特征统计信息进行第二阶段的细粒度自适应加权,获得第二提纯特征;两个阶段依次执行;

6、所述检测头对所述第二提纯特征进行处理,输出所述pl图像中的缺陷检测结果。

7、可以理解,本发明的技术方案旨在构建一个包含主干网络、空间金字塔池化快速层、串行级联的双重注意力机制、颈部网络和检测头的缺陷检测网络,用于对光伏电池片的光致发光pl图像进行缺陷检测。整个检测过程中,pl图像依次经过主干网络的特征提取、空间金字塔池化快速层的全局语义聚合、双重注意力机制的逐级精修、颈部网络的特征融合和检测头的缺陷输出五个阶段,各阶段分别针对pl图像中微小缺陷和低对比度缺陷的特征处理需求,采用了对应的技术手段。

8、在主干网络中,pl图像首先经过多层卷积和池化操作进行多尺度特征提取,生成不同空间分辨率的特征图。其中,分辨率较低的特征图包含更多的语义信息,适合检测面积较大的缺陷;分辨率较高的特征图保留了更多的空间细节,适合检测面积较小的缺陷。在特征提取的至少一个阶段中,网络对输入特征分别执行通道维度和空间维度的特征选择处理。

9、第一种是通道维度的特征选择。特征图中的每个特征通道分别负责响应图像中不同种类的模式或纹理。通道维度的特征选择会评估每个通道对当前输入特征的贡献程度,并生成一组通道注意力权重。其中,对缺陷响应较强的通道获得较大的权重值,其包含的特征信息被保留和增强;对缺陷响应较弱的通道获得较小的权重值,其包含的背景或噪声信息被抑制。经过通道维度的加权处理后,输入特征中与缺陷相关的通道信息被突出,与缺陷无关的通道信息被削弱,输出得到经过通道筛选的特征。

10、第二种是空间维度的特征选择。空间维度对应特征图中的像素位置,不同空间位置可能包含缺陷或背景。空间维度的特征选择通过分析每个空间位置的特征响应强度,生成一张空间注意力权重图。缺陷所在位置获得较大的权重值,背景区域获得较小的权重值。经过空间维度的加权处理后,特征图中缺陷区域的响应被增强,背景区域的响应被削弱。

11、上述两种维度的特征选择依次作用于输入特征。先进行通道维度的加权,筛选出对缺陷响应较强的特征通道;在此基础上进行空间维度的加权,进一步定位缺陷所在的空间位置。两次加权完成后,得到一个在通道和空间两个维度上都经过筛选的注意力增强特征。这张特征图相比原始输入特征,缺陷区域的信号强度更高,背景区域的干扰更低。

12、与此同时,网络还从同一张输入特征中提取边缘响应特征。边缘响应特征的提取过程与注意力增强特征的生成过程是并行执行的,两条处理路径都以原始输入特征为起点。具体来说,边缘响应特征通过深度可分离卷积获得。深度可分离卷积的工作方式是:先使用深度卷积对每个通道分别进行空间邻域的卷积计算,捕捉局部的灰度变化信息,再使用逐点卷积对不同通道的结果进行线性组合。这种卷积方式在参数量较少的情况下能够有效提取特征图中的高频边缘信息,包括隐裂的细线状轮廓、麻点的微小边界等低对比度缺陷的轮廓信息。

13、得到边缘响应特征后,网络对其进行归一化和非线性激活处理,然后与注意力增强特征进行残差融合。残差融合的具体方式是将处理后的边缘响应特征与注意力增强特征在对应空间位置上逐元素相加。这样做的目的,是将边缘增强支路提取到的高频轮廓信息补充回注意力增强特征中。原因在于:注意力增强特征在通道和空间加权过程中,虽然缺陷区域的信号被增强了,但缺陷的边缘轮廓等高频细节可能会在加权过程中被一定程度地平滑。通过残差融合,边缘信息得到补偿,最终输出得到弱缺陷增强特征。该弱缺陷增强特征既包含了经过双重注意力筛选后的缺陷语义信息,又保留了经过边缘增强补偿的缺陷轮廓细节。

14、主干网络提取的最深层特征图,在进入颈部网络之前,先经过空间金字塔池化快速层(sppf)进行全局语义聚合。空间金字塔池化快速层通过多级串接的最大池化操作,将特征图的全局语义信息聚合到一个较大的感受野中。聚合后的特征捕获了整张pl图像的全局上下文信息,有利于缺陷的全局判断,但其中也混入了大量与缺陷无关的背景语义信息。

15、为了去除这些冗余的背景信息并进一步突出缺陷特征,在空间金字塔池化快速层的输出端设置了串行级联的双重注意力机制,对特征进行两个阶段的逐级精修。

16、第一阶段对经空间金字塔池化快速层聚合后的特征执行基于通道维度和空间维度的加权筛选。首先对该特征进行通道维度的注意力加权,评估各个特征通道对缺陷检测的贡献程度,生成通道注意力权重,对不同通道的特征进行差异化加权;然后对加权后的特征进行空间维度的注意力加权,评估各个空间位置包含缺陷的可能性,生成空间注意力权重,对不同空间位置的特征进行差异化加权。经过通道和空间两个维度的依次加权后,特征中与缺陷相关的信息被进一步突出,与缺陷无关的信息被进一步抑制,输出得到第一提纯特征。

17、第二阶段以第一提纯特征作为输入,基于第一提纯特征自身的统计信息进行细粒度的自适应加权。与第一阶段不同的是,第二阶段的加权不需要额外学习权重参数,而是直接根据第一提纯特征中各像素点的特征值与其周围邻近像素点的特征值之间的统计关系来计算每个像素点的权重。举例来说,如果某个像素点的特征值明显偏离其邻近像素点的平均水平,说明该位置可能包含缺陷信息,该像素点就获得较大的权重值;如果某个像素点的特征值与其邻近像素点接近,说明该位置属于背景区域,该像素点则获得较小的权重值。通过这种基于统计分布的加权方式,第一提纯特征中每个像素点都获得了一个精细化的权重,缺陷区域的像素被进一步放大,背景区域的像素被进一步压低,输出得到第二提纯特征。

18、两个阶段的执行顺序是固定的:先由第一阶段完成通道和空间维度的粗粒度筛选,再由第二阶段完成像素级的细粒度细化。这种串行级联的方式使得特征经过两轮不同粒度的处理,缺陷信号得到逐步增强,背景噪声得到逐步抑制。

19、经过双重注意力精修后的第二提纯特征,随后进入颈部网络进行多尺度特征融合。颈部网络的任务是将主干网络不同层级输出的特征进行自顶向下的融合,使融合后的特征同时具备缺陷定位能力和缺陷识别能力。其中,主干网络输出的高分辨率特征图称为浅层特征,包含丰富的空间细节;低分辨率特征图称为深层特征,包含丰富的语义信息。

20、在自顶向下的融合路径中,深层特征图需要先进行上采样处理,将其空间分辨率提升到与浅层特征图一致,才能进行后续的拼接融合。在本方法中,上采样过程采用动态上采样方式来完成。传统的上采样方式(如最近邻插值、双线性插值)使用固定的采样网格,采样点的位置在上采样操作开始前就已确定,不会根据特征图的实际内容做出调整。而本方法中的动态上采样方式会根据待上采样特征图的内容来自适应地调整采样点的位置。

21、具体的处理过程是:网络首先根据待上采样特征图的语义信息,通过一个1×1卷积层对特征图进行线性映射,生成一组像素级的偏移量。这些偏移量反映了特征图中不同位置处的语义内容对采样位置调整的需求。在缺陷特征较为集中的区域,偏移量会使采样点向缺陷区域靠拢,增加缺陷附近的采样密度;在背景区域,偏移量使采样点保持在默认位置附近。然后,将这些偏移量叠加到基础采样网格上,基础采样网格是上采样倍率对应的规则等间距网格。偏移量叠加后,原本均匀分布的采样点发生了位置偏移,形成了一组动态采样位置。最后,根据这组动态采样位置在原始特征图上执行重采样,对于落在离散像素点之间的采样位置,通过双线性插值计算其像素值。重采样得到的特征图在缺陷区域的细节信息更加丰富,背景区域的冗余信息被抑制。

22、上采样完成后,得到的特征图与颈部网络中对应尺度的浅层特征图进行拼接融合。这里的拼接是将两张特征图在通道维度上进行拼接,使融合后的特征同时包含深层的语义信息和浅层的空间细节。颈部网络中包含多个这样的上采样和拼接融合节点,每个节点负责将一个深层特征与一个浅层特征进行融合,最终生成覆盖多个尺度的融合特征。

23、经过颈部网络的多尺度特征融合后,融合特征被送入检测头,由检测头对其进行分类和回归处理,输出pl图像中缺陷的类别信息和位置信息。

24、本发明的一种自适应采样与特征增强的光伏电池片pl图像缺陷检测方法具有以下技术效果:

25、首先,本发明在主干网络的特征提取阶段,通过通道维度和空间维度的依次特征选择,使输入特征中与缺陷相关的通道信息和空间位置信息得到差异化增强,与缺陷无关的信息得到抑制。同时,通过并行设置的边缘增强支路提取输入特征中的高频轮廓信息,并以残差融合的方式将边缘信息补充回注意力增强特征中,有助于减少注意力加权过程中缺陷轮廓细节的丢失。这两方面的处理使弱缺陷增强特征在缺陷信号强度和轮廓完整性上得到改善。

26、其次,在颈部网络的特征融合阶段,本发明采用动态上采样方式根据待上采样特征图的语义信息自适应调整采样点的位置分布,在缺陷特征集中的区域分配更密集的采样点,在背景区域维持较稀疏的采样分布。与固定网格的上采样方式相比,动态上采样方式在缺陷区域保留了更多的细节信息,减少了上采样过程中缺陷特征的模糊和丢失。经过动态上采样后与浅层特征的拼接融合,融合结果中的缺陷定位精度得到改善,有利于后续检测头对小面积缺陷的定位。

27、并且,在双重注意力精修阶段,本发明通过第一阶段的通道和空间加权筛选从通道和位置两个维度对特征进行粗粒度的缺陷信息提取,去除特征中大部分与缺陷无关的成分。第二阶段的细粒度自适应加权在第一阶段筛选结果的基础上,根据每个像素点与其邻近像素点的统计关系进行像素级的精细化处理,进一步增强缺陷像素的响应、压低背景像素的响应。两个阶段串行执行,前一阶段的输出作为后一阶段的输入,形成逐层递进的特征提纯过程。这种串行级联结构使特征在到达检测头之前经历了两轮不同粒度的筛选和细化,缺陷信号与背景噪声之间的区分度进一步提高。

28、综合以上三个环节的处理,本发明有助于提高光伏电池片pl图像中微小面积缺陷和低对比度缺陷的检测能力,检测结果的精确率和召回率有所提升,误检和漏检的情况有所减少。