基于多尺度特征融合的光伏板缺陷实时检测方法
本发明属于计算机视觉与图像处理,尤其涉及基于多尺度特征融合的光伏板缺陷实时检测方法。
背景技术:
1、光伏发电作为最具代表性的可再生能源技术之一,其装机容量与电网占比正经历着史无前例的爆发式增长。作为光伏发电系统的核心能量转换单元,光伏板长期服役于极端复杂的野外环境,如荒漠、高原或近海区域,不仅面临着日晒雨淋、风沙侵蚀等自然老化风险,还极易受到冰雹打击、飞鸟遮挡以及由于热应力不均导致的隐裂与热斑等缺陷的影响。这些缺陷如果未能得到及时、精准的检测与定位,不仅会显著降低整条阵列的能量转换效率,甚至可能诱发局部高温导致组件损毁或火灾事故,造成不可估量的经济损失与安全隐患。
2、因此,进行高效、智能且实时的光伏板缺陷监测,已成为保障光伏电站全生命周期运维安全的重要基石。
3、早期的光伏巡检主要依赖于人工巡检模式,巡检人员需手持红外热像仪或高倍率摄像机在阵列间徒航查勘。这种方式不仅劳动强度大、作业风险高,且在面对超大规模电站时,受限于视野高度与主观判断能力,极易出现漏检与误判的情况。
4、随着无人机航空遥感技术与计算机视觉算法的深度融合,基于卷积神经网络的自动目标检测技术逐渐占据了技术主流。目前,行业内普遍采用基于深度特征提取的检测框架,通过在大规模标注的光伏缺陷数据集上进行离线训练,构建能够自动识别破碎、热斑、污垢等异常的目标检测模型。这些现有技术在标准工况下、针对目标尺度相对恒定且背景纯净的图像,确实展现出了优于传统数字图像处理算法的检测性能,初步实现了从人工经验驱动向数据智能驱动的跨越。
5、然而,随着光伏运维向精细化与实时化方向演进,现有基于常规卷积结构的检测方案在原理层面的一些固有局限性,使其在应对复杂真实的户外应用场景时逐渐暴露出显著的技术矛盾。具体而言,光伏板缺陷表现出极强的多尺度特征属性,例如大面积的盖板破损或严重的阴影遮挡在低分辨率的全局特征图上即可清晰辨别,而微细的电池片隐裂、局部焊点氧化或微小异物遮挡,其空间占用极小且纹理特征极其微弱,往往掩没在复杂的电池片栅线与反光背景之中。
6、现有的深度神经网络在通过多层下采样操作获取深层高阶语义信息时,由于感受野的持续扩大,不可避免地会导致浅层精细空间信息的丢失,使得模型在检测细小尺度缺陷时鲁棒性严重不足。与之相对应的是,如果为了保留空间细节而简单地将浅层特征与深层特征进行跨层融合,由于浅层特征图蕴含了大量的背景噪声信号,如玻璃表面的不规则反射、支架阴影等,这种缺乏判别性的特征融合往往会引入严重的信号干扰,导致模型在复杂光照环境下的误报率急剧上升。
7、现有技术在“检测精度”与“推理速度”之间存在着难以调和的负相关逻辑。为了提升对多尺度缺陷的捕捉能力,现有的改进方案往往倾向于构建深度更深、参数量更大的特征提取骨干网络,或引入计算极其复杂的注意力机制与多级特征金字塔结构。
8、然而,在基于无人机边缘侧的实时检测场景下,有限的算力资源与极高的实时反馈需求对算法的推理延迟提出了近乎苛刻的要求。这种模型复杂度的非线性增长,直接导致了处理帧率的显著下降,使得系统无法在高速巡检过程中实现对缺陷的同步定位与及时响应。这种在多尺度特征表达深度、复杂背景抗干扰能力与端侧实时计算效率三者之间的深层矛盾,构成了当前光伏缺陷检测领域向高性能迈进的核心挑战。
9、因此,本发明拟提供一种既能高效融合多尺度特征、又能精准过滤冗余噪声,且兼顾极高计算效率的检测方法,以解决上述现有技术中存在的技术问题。
技术实现思路
1、针对前述背景技术中提及的光伏板缺陷检测领域内微细缺陷特征捕获困难、复杂背景反光干扰严重以及边缘侧实时计算效能不足的技术矛盾,本发明提供了一种基于多尺度特征融合的光伏板缺陷实时检测方法。
2、为解决上述技术问题,本发明采用的技术方案如下:
3、基于多尺度特征融合的光伏板缺陷实时检测方法,所述方法基于由特征提取骨干网络、多尺度特征融合颈部网络以及解耦式检测头组成的深度学习实时检测框架实现,包括以下步骤:
4、s1:利用特征提取骨干网络对实时采集的光伏板图像进行特征提取,获取不同分辨率的特征图,在指定尺度的特征图末端嵌入空洞空间卷积池化金字塔模块捕获缺陷的局部细节与全局上下文语义,得到融合局部细节与全局语义的多尺度特征图。
5、在特征提取骨干网络中,采用改进的残差连接结构,通过深度可分离卷积替代传统的标准卷积,以降低参数量。具体地,特征提取骨干网络的首层设置为步长为2、卷积核大小为3×3的卷积层,用于将输入的光伏板图像的分辨率进行初步下采样,同时将通道数提升至32。在后续的特征提取阶段,设置五个具有不同下采样倍率的特征提取阶段,分别对应输入图像尺寸的1/2、1/4、1/8、1/16和1/32。为了解决细微缺陷如隐裂或微小焊点氧化导致的信息丢失问题,在第3、4、5个特征提取阶段的末端分别引入了空洞空间卷积池化金字塔模块。所述空洞空间卷积池化金字塔模块由一个1×1的标准卷积路径、三个采样率分别为6、12、18的3×3空洞卷积路径以及一个全局平均池化路径组成。各路径的输出结果在通道维度进行级联,并通过一个1×1的卷积层将通道数压缩至预设维度。空洞卷积的引入在不增加参数量的基础上扩大了感受野,使得模型能够同时捕获缺陷的局部细节纹理与全局上下文语义。
6、s2:将多尺度特征图输入至多尺度特征融合颈部网络,通过双向特征金字塔结构进行深层语义信息与浅层空间信息的双向传递与融合,并在特征融合节点后通过空间与通道解耦注意力模块对缺陷区域特征进行增强。
7、在多尺度特征融合颈部网络中,包括基于动态权重调节的双向特征金字塔结构。该结构通过自上而下的路径实现深层语义信息向浅层特征图的传递,并同步通过自下而上的路径实现浅层空间信息向深层特征图的回传。在不同尺度的特征图进行融合的节点处,引入了动态权重系数。所述动态权重系数的计算逻辑如下:针对待融合的特征图序列,首先对每一层特征图应用全局平均池化操作得到标量描述子,随后通过两层全连接层构成的瓶颈结构计算各层的相对重要性得分,并应用归一化指数函数进行归一化处理。融合后的特征图由各层特征图与其对应动态权重的加权乘积之和构成。这种融合方式消除了简单加法或级联操作导致的特征冗余,有效抑制了由于电池片反光或阴影遮挡引入的背景噪声。
8、为了进一步增强模型对复杂户外环境下非目标干扰信号的剔除能力,在颈部网络的每一个特征融合层后嵌入一个空间与通道解耦注意力模块。空间与通道解耦注意力模块由并行运行的通道注意力分支和空间注意力分支组成。通道注意力分支通过对特征图在空间维度执行最大池化和平均池化,提取两组长度等于通道数的特征向量,并将这两组向量送入一个共享权重的多层感知机中,最后将输出向量相加并经过sigmoid激活函数处理,生成通道权重图。空间注意力分支则在通道维度执行最大池化和平均池化,得到两个单通道的二维特征图,通过卷积层进行降维和特征提取,生成空间权重图。最终,输入特征图先后与通道权重图和空间权重图执行逐元素相乘,从而实现对缺陷区域特征的显著增强。
9、s3:通过解耦式检测头对融合后的多尺度特征进行处理,利用分类预测路径和回归预测路径分别输出光伏板缺陷的类别置信度及边界框位置参数,结合改进的边际损失函数优化回归精度。
10、解耦式检测头采用分类与回归任务分离的架构,以提高模型在定位精度上的表现。所述检测头可以包含三个预测分支,分别对应不同的特征图尺度,以覆盖不同大小的光伏缺陷。在每个预测分支中,特征图首先通过两个并行的1×1卷积路径,一条路径负责预测目标的类别概率,另一条路径负责预测目标边界框的偏移量(
x,y,w,h)以及目标的置信度得分。对于边界框回归任务,采用改进的边际损失函数进行优化,该损失函数通过引入长宽比惩罚项以及中心点距离约束,加速了模型对极细长缺陷边界框的收敛速度。
11、s4:对解耦式检测头输出的预测结果进行后处理,采用软性非极大值抑制算法剔除冗余框,并利用基于kl散度的对称量化处理及算子融合实现光伏板缺陷的实时推理与结果输出。
12、优选的,步骤s1的具体过程如下:
13、s11:采用自适应缩放策略,按原始光伏板图像宽高比计算缩放因子,将长边缩至预设像素阈值,得到标准输入图像
i;
14、s12:基于首层标准卷积层进行下采样与升通道:骨干网络首层为步长s=2、卷积核
k=3×3的标准卷积层,对标准输入图像
i进行初步下采样,通道数升至32,输出特征图
f0;
15、s13:进行五阶段多级下采样特征提取:骨干网络设5个下采样阶段,对应输入图像1/2、1/4、1/8、1/16、1/32尺度,各阶段用线性瓶颈倒置残差提取特征,输出5级特征图:
f1、
f2、
f3、
f4、
f5;
16、s14:在特征图
f3、
f4、
f5末端嵌入aspp模块,由5条并行路径组成,融合后输出增强特征图
faspp:
17、s15:输出嵌入aspp增强的多尺度特征图
f1、
f2、
faspp3、
faspp4、
faspp5,送入步骤s2的多尺度特征融合颈部网络。
18、优选的,各阶段用线性瓶颈倒置残差提取特征的具体流程如下:
19、1×1卷积升维:
fup=conv1×1(
fin);
20、3×3深度可分离卷积提取特征:
fdepth=dwconv3×3(
fup);
21、1×1卷积降维:
fout=conv1×1(
fdepth);
22、残差连接:
fres=
fin+
fout;
23、其中,dwconv为深度可分离卷积;
fin为倒置残差模块的输入特征图;
fup为升维后的高维特征图;
fdepth为深度卷积提取后的空间特征图;
fout为降维后的输出特征图;
fres为残差相加后的最终输出特征图;
24、输出5级特征图:
f1、
f2、
f3、
f4、
f5。
25、优选的,步骤s14中五条路径的运算流程如下:
26、1×1标准卷积路径:;
27、空洞卷积路径:
28、;
29、;
30、;
31、全局平均池化路径:;
32、其中,
r为空洞卷积采样率;globalavgpool为全局平均池化;
33、特征融合与降维:五条路径输出在通道维度拼接,经1×1卷积压缩至目标通道数
cout:
34、;
35、其中,concat:通道维度拼接;cout:aspp输出特征图通道数。
36、优选的,步骤s2的具体过程如下:
37、s21:定义输入特征图
fin1~
fin5,分别为步骤s1输出的5级特征;
38、s22:基于动态权重调节的双向特征金字塔融合处理;
39、s23:对bifpn每个尺度输出特征并行做通道注意力与空间注意力增强;
40、s24:输出5级双向融合+注意力增强的多尺度特征:
fout1,
fout2,
fout3,
fout4,
fout5。
41、优选的,步骤s22的具体过程如下:
42、s221:双向路径构建,包括:
43、自上而下路径:深层高语义特征经双线性插值上采样,与浅层特征对齐分辨率后融合;
44、自下而上路径:浅层高分辨率特征经步长为2的3×3卷积下采样,与深层特征融合;
45、s222:对参与融合的多层特征
fi1,
fi2,...,
fin计算动态权重
wi,完成加权融合。
46、优选的,步骤s23的具体过程如下:
47、s231:通过通道注意力分支进行处理;
48、s232:通过空间注意力分支进行处理;
49、s233:残差连接输出注意力增强特征图。
50、优选的,步骤s3的具体过程如下:
51、s31:将5级多尺度特征
fout1,
fout2,
fout3,
fout4,
fout5按分辨率分配至不同检测分支:
52、;
53、其中,
cout为步骤s2输出特征通道数;
54、s32:解耦式检测头双路径处理:对每个尺度特征
fdetk,并行执行分类预测路径与回归预测路径,实现类别与定位的解耦学习:
55、分类预测路径:通过多层卷积提取类别特征,输出缺陷类别置信度分布;
56、;
57、其中,为第
k尺度分支的类别置信度向量;conv3×3为3×3标准卷积层;bn为批归一化层;relu:修正线性单元激活函数;为1×1卷积层,输出通道为ccls,将特征映射为类别得分;softmax:softmax激活函数;
58、回归预测路径:通过多层卷积提取定位特征,输出边界框的位置与尺寸偏移量:
59、;
60、其中,为第
k尺度分支的边界框预测向量,对应(δ
x,δ
y,δ
w,δ
h);为1×1卷积层,输出通道为4;
61、将预测的偏移量转换为图像坐标系下的真实边界框坐标:
62、;
63、其中,(
x,y,w,h)为解码后的真实边界框坐标,中心坐标(
x,y),宽
w,高
h;(
xanchor,
yanchor,
wanchor,
hanchor)为预设锚框的坐标与尺寸;(δ
x,δ
y,δ
w,δ
h)为回归路径输出的偏移量;
64、s33:为解决分类与回归任务的冲突,采用分类损失与改进边际回归损失的加权组合,优化检测头参数:
65、分类损失:
66、;
67、其中,为分类损失值;n为参与损失计算的样本数;
αc为类别平衡权重;为难样本聚焦因子;为第
i样本第
c类的预测置信度;为第
i样本第
c类的真实标签;
68、改进边际回归损失:
69、;
70、ciou为:
71、;
72、其中,为改进边际回归损失值;bpred为解码后的预测边界框;bgt为真实缺陷边界框标签;为预测框与真实框中心的欧氏距离平方;
c为包含两框的最小外接矩形对角线长度;
v为宽高比一致性因子;
α为宽高比权重系数;为边际惩罚权重;ioumin为最小交并比阈值;
73、总损失函数:
74、;
75、其中,为总损失值;
β为分类损失权重系数;
76、s34:输出每个检测分支的:
77、缺陷类别置信度pk;
78、解码后的边界框坐标(
x,y,w,h);
79、经过非极大值抑制后,得到最终的缺陷检测结果,包括缺陷类别、置信度、边界框。
80、优选的,步骤s4的具体过程如下:
81、s41:将步骤s3各检测分支输出的预测结果(pk,bk)聚合,得到所有候选框集合
b={
bi}及其对应置信度
s={
si};
82、s42:通过软性非极大值抑制剔除冗余框:按置信度从高到低排序候选框b,选取当前最高置信度框m,对其余框
bi执行置信度衰减:
83、;
84、其中,为衰减后的第
i个候选框置信度;iou(m,
bi)为最高置信度框m与候选框
bi的交并比;
σ为衰减系数;
85、重复迭代,直至所有框置信度低于预设置信度阈值τ,得到最终保留的检测框集合
bfinal;
86、s43:采用对称量化将模型权重与激活值从32位浮点数压缩为8位整数,通过kl散度最小化量化前后的分布差异;
87、s44:对模型中的连续算子进行融合,包括将卷积层、批归一化层、激活层合并为单个算子:
88、原卷积输出:
y=w
x+b;
89、批归一化:;
90、融合后等效权重与偏置:
91、;
92、;
93、融合后输出:
yrelu=relu(
w′
x+
b′);
94、其中,
w,b分别为原始卷积层权重与偏置;γ
,β分别为批归一化层的缩放与偏移参数;
μ,σ2分别为批归一化层的均值与方差;
w′,b′分别为融合后等效卷积层的权重与偏置;
95、s45:输出预处理光伏板图像、缺陷检测结果以及后处理结果解析,后处理结果解析为将检测框映射回原图坐标系,标注缺陷类别、置信度与位置。
96、优选的,步骤s43的具体过程如下:
97、s431:对浮点型数据
x量化为int8:
98、;
99、其中,
x为待量化的fp32数据;
xq为量化后的int8数据;round()为四舍五入取整函数;
s为量化缩放因子;
100、反量化恢复浮点值:
101、;
102、其中,
xf为反量化后的fp32数据;
103、s432:找到最优量化缩放因子
s*,使量化后分布
pq与原分布
pf的kl散度最小:
104、;
105、其中kl散度定义为:
106、;
107、其中,dkl()为kl散度;
pf为原始fp32数据的概率分布;
pq为量化后int8数据的概率分布;
xi为分布中的第
i个数据点。
108、本发明的有益效果包括:
109、1、微细缺陷捕获能力显著增强,检测精度更高:在特征提取骨干网络中嵌入空洞空间卷积池化金字塔模块(aspp),在不提升参数量的前提下大幅扩大感受野,可同时捕捉光伏板隐裂、微裂纹、焊点氧化等微细缺陷的局部细节与大面积热斑、破损的全局语义信息,有效解决传统网络下采样导致细微特征丢失的问题,使微小缺陷检出率大幅提升。
110、2、复杂背景抗干扰能力强,误报率显著降低:采用动态权重调节的双向特征金字塔,实现深层语义与浅层空间信息的自适应加权融合,可自动抑制光伏板玻璃反光、栅线纹理、支架阴影等背景噪声;同时配合空间与通道解耦注意力模块,精准聚焦缺陷区域、弱化干扰信息,在强光、脏污、遮挡等复杂户外工况下仍保持高稳定性,显著降低误检与虚警率。
111、3、采用解耦式检测头,将缺陷分类与边界框回归分为独立路径学习,避免任务相互干扰;并搭配改进边际损失函数,引入中心点距离约束与长宽比一致性惩罚,对细长型隐裂、线状划痕等缺陷收敛更快、定位更准,大幅提升边界框回归精度。
112、4、骨干网络采用线性瓶颈倒置残差结构与深度可分离卷积,显著降低模型参数量与计算量;配合基于kl散度的对称量化与算子融合、内存重用等工程化优化,将模型从fp32压缩为int8定点运算,推理速度大幅提升。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com