一种基于深度学习的光伏电池板巡检方法与流程

1.本发明涉及电力巡检与图像处理技术领域，尤其涉及一种基于深度学习的光伏电池板巡检方法。


背景技术：

2.随着能源危机和环境污染的进一步加剧，人们逐渐寻求新的绿色能源替代传统的化石能源。太阳能作为一种可再生能源，具有容易获取、可持续利用、绿色环保等优点。同时，光伏产业和技术也在不断的进步发展，各地逐渐开始建设光伏电站来利用太阳能。在这些电站中分布着大量的太阳能电池板，而每一块电池板都是太阳能发电中最重要的部件之一，其转换率和使用寿命是决定太阳电池是否具有使用价值的重要因素。作为一种将光能转换为电能的装置，太阳能电池板的组建材料包括太阳能电池板、eva材料、铝合金、tp背板以及钢化玻璃等。在生产过程中任何意想不到的错误都会导致缺陷，同时太阳能电池板长期处于暴晒、雨淋等恶劣的环境下，这些不可避免地会给电池板造成不同程度的损伤。如何及时地发现并处理这些问题直接影响了太阳能电池板光电转换效率以及使用寿命。传统的检测方法主要通过人工视觉的巡检、电致发光检测el法、超声波检测法等。但是这些检测方法需要耗费大量的人力、物力物资且效率极低，不能达到工业检测的实际需求。随着无人机技术的快速发展，已经被逐步运用于电力巡检等领域。通过工业无人机搭载可见光或红外一体相机对大型光伏电站进行巡检，可以有效的解决这一系列问题。首先利用无人机按照规划好的巡检路线采集待检的光伏图像，然后利用图像处理等技术进行区域分割,将前景区域与背景区域分割出来，最后进行故障检测与分析从而得出结论。
3.目前对光伏电池板进行巡检时，无法准确快速地对目标光伏电池板区域进行巡检，更无法及时地获得设备的真实状态，发现故障区域完成检修任务，从而无法为整个光伏变电站的稳定运行提供保障，为此我们提出一种基于深度学习的光伏电池板巡检方法来解决上述问题。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在对光伏电池板进行巡检时，无法准确快速地对目标光伏电池板区域进行巡检，更无法及时地获得设备的真实状态，发现故障区域完成检修任务，从而无法为整个光伏变电站的稳定运行提供保障的问题，而提出的一种基于深度学习的光伏电池板巡检方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于深度学习的光伏电池板巡检方法，其步骤如下：
7.步骤1：准备网络输入数据，利用无人机携带成像设备采集光伏电池板的图像数据集；
8.步骤2：通过翻转、旋转、镜像、亮度调节等操作对训练集和测试集进行增强和扩展，增加数据的多样性；
9.步骤3：构建并行注意力机制优化的分割网络u-net；
10.步骤4：构建并行注意力模块；
11.步骤5：使用搭建好的模型在步骤1构建的数据集上进行训练；
12.步骤6：使用训练好的网络对无人机拍摄的图像进行测试，微调网络。
13.优选地，准备网络输入数据，利用无人机携带成像设备采集光伏电池板的图像数据集，包括不同损伤类型：破损、裂缝、遮盖等，所有图像大小均调整为八位256pixel
×
256pixel，然后通过labelme软件对采集对图像进行真值标注并输出标注后的数据集及对应的真值图。
14.优选地，通过旋转、镜像、缩放、亮度调节进行数据集增强，丰富数据集的类型和数量，将增强后的数据集按照6:3:1的比例划分为训练集、测试集、验证集。
15.优选地，构建并行注意力机制优化的分割网络u-net，并行注意力机制优化后的分割网络u-net网络主要包括上采样和下采样两个核心部分，上采样部分使用vgg16网络进行特征提取，第一层网络首先采用两组3
×
3卷积、批归一化层、relu函数层构成标准卷积模块，第二层采用最大池化进行下采样后，重复上述标准卷积，第三至五层网络重复三组上述的卷积操作来提取深层的语义特征；
16.下采样时，每增加一层，特征图的尺寸减半，通道数乘二其中第五层通道数不变；上采样过程中，将第五层网络以0.5的概率进行dropout操作来防止网络的过拟合；模型中采用了双线性插值进行上采样，然后与来自下采样阶段第四层的同尺度特征图送入并行注意力机制模块中，加强深层的特征提取；获得第九层的特征图后，使用1
×
1卷积结合sigmoid操作，从而输出网络的分割结果图。
17.优选地，构建并行注意力模块，由于光伏电池板检测任务中存在大量的背景干扰，采用并行的双注意力机制优化u-net网络进行特征提取；并行的双注意力模块共包含以下三个部分：通道注意力模块、空间注意力模块、特征融合。
18.优选地，使用搭建好的模型在步骤1构建的数据集上进行训练；对于输入的图像数据x，经过编码处理后得到特征图计算公式如下：
[0019][0020]
式中：conv代表卷积操作；函数c表示特征聚合机制：卷积层 归一化；函数down代表下采样；l表示网络层数；随后对获得的特征图进行解码，解码后得到的特征图为计算公式如下：
[0021][0022]
式中：[]表示维度的拼接；up表示函数的上采样；bp表示并行注意力机制操作；在对最终获得的特征图进行sigmoid，获得最终的预测结果：
[0023]
[0024]
损失函数通过二值交叉熵损失函数定义，定义如下：
[0025][0026]
优选地，所述通道注意力模块功能如下：
[0027]
首先定义输入模块的特征图为f，然后通过全局最大池化层后得到一个1
×1×
c的全局特征f1；然后使用大小为k的一维卷积对全局特征f1进行卷积，从而获得注意力权重图g；注意力权重图g中第i个通道的权值μi可由下式得到：
[0028][0029]
式中：表示用来学习第i个通道权值的第j个权重，1≤j≤k；表示第i个通道中第k个相邻通道全局特征的集合；
[0030]
一维卷积的卷积核大小k由下式计算得到：
[0031][0032]
式中：c为通道数；γ和b表示超参数，通常γ＝2，b＝1；|a|
odd
表示与a相邻最近的奇数；通过权重图g对特征图f进行加权从而得到特征图r；特征图r中提升了与待检的损伤区域相关的通道权重，从而降低了其他通道的权重。
[0033]
优选地，所述空间注意力模块功能如下：
[0034]
在特征图f在通道维度上分别执行平均池化和最大池化，生成两个单通道的特征图：平均值特征图和最大值特征图然后，结合两个单通道的特征图，生成权重图h并对特征图f进行加权，生成特征图s；
[0035]
空间注意力模块计算如下：
[0036][0037]
其中，σ表示relu函数；表示两个特征图中对应像素的点积。
[0038]
优选地，所述特征融合功能如下：
[0039]
将特征图r与特征图s相加后使用relu激活函数得到权重图g；得到的权重图分别融合了通道维度的权重分布和空间维度的权重分布，从而获得了更具互补性的特征，关注损伤、裂缝等特征区域。
[0040]
相比现有技术，本发明的有益效果为：
[0041]
1、本发明通过改进的unet分割模型设计了光伏电池板缺陷区域的检测算法，针对无人机采集图像的特点和检测微小区域的要求，改进了原始的unet模型的网络结构，引入了双注意力特征融合模块，并设置了合适的激活函数等网络参数，实现了对于裂缝等微小缺陷的特征提取，抑制了背景的干扰，提高了网络的鲁棒性和准确率，可以有效地解决光伏电池板巡检的问题，为光伏变电站的稳定运行提供了保障。
[0042]
2、本发明引入并行的双注意力机制，为了实现复杂背景下微小区域的准确区分，
设计并行的双注意力特征融合模块，并将其运用在上、下采样间同尺度的跨层连接中，使网络更加的关注微小破损、裂缝区域的检测。
附图说明
[0043]
图1为本发明提出的一种基于深度学习的光伏电池板巡检方法的整体流程示意图；
[0044]
图2为本发明提出的一种基于深度学习的光伏电池板巡检方法的整体网络结构示意图；
[0045]
图3为本发明提出的一种基于深度学习的光伏电池板巡检方法的双注意力机制的网络结构示意图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0047]
参照图1-3，一种基于深度学习的光伏电池板巡检方法，其步骤如下：
[0048]
步骤1：准备网络输入数据，利用无人机携带成像设备采集光伏电池板的图像数据集，包括不同损伤类型：破损、裂缝、遮盖等，所有图像大小均调整为八位256pixel
×
256pixel，然后通过labelme软件对采集对图像进行真值标注并输出标注后的数据集及对应的真值图；
[0049]
步骤2：通过旋转、镜像、缩放、亮度调节进行数据集增强，丰富数据集的类型和数量，将增强后的数据集按照6:3:1的比例划分为训练集、测试集、验证集；
[0050]
步骤3：构建并行注意力机制优化的分割网络u-net；并行注意力机制优化后的分割网络u-net网络主要包括上采样和下采样两个核心部分，上采样部分使用vgg16网络进行特征提取，第1层网络首先采用两组3
×
3卷积、批归一化层、relu函数层构成标准卷积模块，第二层采用最大池化进行下采样后，重复上述标准卷积，第三至五层网络重复三组上述的卷积操作来提取深层的语义特征；
[0051]
下采样时，每增加一层，特征图的尺寸减半，通道数乘二其中第五层通道数不变；上采样过程中，将第五层网络以0.5的概率进行dropout操作来防止网络的过拟合；模型中采用了双线性插值进行上采样，然后与来自下采样阶段第四层的同尺度特征图送入并行注意力机制模块中，加强深层的特征提取；获得第九层的特征图后，使用1
×
1卷积结合sigmoid操作，从而输出网络的分割结果图；
[0052]
步骤4：构建并行注意力模块；由于光伏电池板检测任务中存在大量的背景干扰，本采用并行的双注意力机制优化u-net网络进行特征提取；并行的双注意力模块共包含以下三个部分：通道注意力模块、空间注意力模块、特征融合；
[0053]
通道注意力模块功能如下：
[0054]
首先定义输入模块的特征图为f，然后通过全局最大池化层后得到一个1
×1×
c的全局特征f1；然后使用大小为k的一维卷积对全局特征f1进行卷积，从而获得一个注意力加强后的权重图g；注意力权重图g中第i个通道的权值μi可由下式得到：
[0055][0056]
式中：表示用来学习第i个通道权值的第j个权重，1≤j≤k；表示第i个通道中第k个相邻通道全局特征的集合；
[0057]
一维卷积的卷积核大小k由下式计算得到：
[0058][0059]
式中：c为通道数；γ和b表示超参数，通常γ＝2，b＝1；|a|
odd
表示与a相邻最近的奇数；通过权重图g对特征图f进行加权从而得到特征图r；特征图r中提升了与待检的损伤区域相关的通道权重，从而降低了其他通道的权重。
[0060]
空间注意力模块功能如下：
[0061]
在特征图f在通道维度上分别执行平均池化和最大池化，生成两个单通道的特征图：平均值特征图和最大值特征图然后，结合两个单通道的特征图，生成权重图h并对特征图f进行加权，生成特征图s；
[0062]
空间注意力模块计算如下：
[0063][0064]
其中，σ表示relu函数；表示两个特征图中对应像素的点积。
[0065]
特征融合功能如下：
[0066]
将特征图r与特征图s相加后使用relu激活函数从而得到权重图g；最终得到的权重图分别融合了通道维度的权重分布和空间维度的权重分布，从而获得了更具互补性的特征，可以抑制各种背景带来的干扰，关注损伤、裂缝等特征区域。
[0067]
步骤5：使用搭建好的模型在步骤1构建的数据集上进行训练；对于输入的图像数据x，经过编码处理后得到特征图计算公式如下：
[0068][0069]
式中：conv代表卷积操作；函数c表示特征聚合机制：卷积层 归一化；函数down代表下采样；l表示网络层数；随后对获得的特征图进行解码，解码后得到的特征图为计算公式如下：
[0070][0071]
式中：[]表示维度的拼接；up表示函数的上采样；bp表示并行注意力机制操作；在对最终获得的特征图进行sigmoid，获得最终的预测结果：
[0072][0073]
损失函数方面，本发明选择了二值交叉熵损失函数，定义如下：
[0074][0075]
步骤6：使用训练好的网络对无人机拍摄的图像进行测试，微调网络。
[0076]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。