基于改进U-Net++的钙钛矿薄膜太阳能电池缺陷检测方法

本发明涉及钙钛矿薄膜缺陷检测处理领域，具体是涉及一种基于改进u-net++的钙钛矿薄膜太阳能电池缺陷检测方法。

背景技术：

1、太阳能作为满足能源需求的理想解决方案，在能源领域占据重要地位。其中，钙钛矿太阳能电池凭借高效率和低成本的优势，在众多太阳能电池类型中脱颖而出。然而，在生产过程中，钙钛矿太阳能电池易因退火不均匀、操作不当等因素产生缺陷，如空洞、溶液未覆盖、电池破裂等。这些缺陷会致使太阳能电池部分区域断电，严重降低发电效率。因此，及时且准确地检测出这些缺陷，对提升太阳能电池的耐久性和可靠性至关重要。

2、传统的太阳能电池表面缺陷检测主要采用人工目检和基于工业相机的机器视觉检测方法。但人工目检存在工作量大、效率低的问题，且易受检测人员主观因素影响，导致漏检和误检；机器视觉检测同样存在局限性，难以满足高精度检测需求。

3、近年来，硅基太阳能电池缺陷检测已取得一定进展，但针对新型钙钛矿电池的研究相对较少。与硅基电池相比，钙钛矿太阳能电池的检测成像方式、缺陷形态均存在显著差异，并且钙钛矿电池对微小缺陷更为敏感，即使是细小的缺陷也会对其稳定性产生较大影响，这对小面积缺陷的检测精度提出了更高要求。

技术实现思路

1、本发明的目的在于针对现有技术存在的人工目检工作量大、效率低、易受主观因素影响导致漏检误检，机器视觉检测难以满足高精度需求，且针对钙钛矿电池缺陷检测研究少、小面积缺陷检测精度不足等问题，提供一种自动化程度高、检测效率与准确性优异，能够实现钙钛矿薄膜微小缺陷高精度检测的基于改进 u-net++的钙钛矿薄膜太阳能电池缺陷检测方法。

2、为实现上述发明目的，本发明提供以下技术方案。

3、本发明提供基于改进u-net++的钙钛矿薄膜太阳能电池缺陷检测方法，包括以下步骤：

4、1）图像采集设备搭建：搭建钙钛矿薄膜图像收集设备，创建避光的采集条件，在低湿低温环境下完成图像采集。

5、2） 数据增强：对采集到的图像进行数据增强，采用小缺陷样本oversampling、旋转、水平翻转等操作对经过标注的数据集进行划分，得到训练和测试数据集。

6、3）改进的u-net++模型设计：对原始u-net++模型进行改进，加入细粒度特征挖掘模块，调整跳跃连接结构，更改骨干网络为efficientnet，得到改进的u-net++模型。

7、4）模型训练：将增强后的数据集输入改进的u-net++模型，调整损失函数为focal_loss和dice_loss的加权和，提升小目标缺陷的loss权重，对改进的u-net++模型进行训练。

8、5）可视化界面开发：使用预训练完毕的u-net++模型对钙钛矿太阳能电池薄膜的表面进行缺陷检测，通过可视化的界面，输出缺陷所在的精确位置图片和面积占比。

9、在步骤1）中，所述图像采集设备搭建的具体方法可为：根据钙钛矿薄膜的透光特性，搭建底部打光、隔绝环境光的图像采集环境，在无尘实验室的真空箱中制作样品，并通过真空传递盒将样品转移到采集设备中，利用工业高速ccd相机完成数据采集。

10、在步骤2）中，所述数据增强的具体方法可为： 对小目标缺陷图片oversampling，具体实施方法为，对图像label图像进行连通域检测，使用opencv的findcontours函数找到图像中的闭合轮廓线，并使用contourarea函数计算每个轮廓线的面积，筛选出含有面积小于5像素点的样本，在数据集构造时对该部分样本进行过采样，提升小缺陷样本在数据集中的占比。

11、图像的旋转处理包括90度和270度的旋转；这种旋转操作显著改变图像上下文信息，同时保持图像的基本结构不变；通过该处理方法，模型能够学习图像在不同方向上的特征，从而提升模型对图像在各种角度下的识别能力。

12、在步骤3）中，所述改进的u-net++模型设计的具体方法可为： 在数据输入层，引入一个细粒度特征挖掘模块，其主要步骤如下：

13、首先，将输入的图像划分为四个等大小的子图像。随后采用双线性插值（bilinear）技术对这四个子图像进行平滑放缩操作，使其尺寸与原始图像的尺寸相同。在此基础上，将原始图像和放缩后的四个子图像在通道（channel）维度上进行拼接，进而构成一个新的张量（tensor）。此张量第一维对应原始图像，紧接着的四个维度则分别对应经过放缩处理后的四个子图像。

14、接着，将生成的张量作为输入数据传递至模块中的多尺度特征融合网络中。在该网络中，此张量依次通过两个卷积层进行特征提取操作。为确保网络训练的稳定性和加速收敛速度，在卷积层之后引入批标准化（batch normalization）层。

15、最终，经过sigmoid层输出特征融合后的注意力权重并与原始输入图像进行逐元素相乘，得到微小缺陷增强后的tensor，作为改进u-net++网络的输入。该模块能够有效地增强小目标缺陷在最终图像结果中的权重，进而提高网络对于小目标缺陷的识别和定位能力。

16、将骨干网络更换为efficientnet，提升训练和推理速度。efficientnet是一种复合缩放策略的卷积神经网络，其核心由一系列特定的卷积层组成，这些层旨在高效提取图像特征并降低图像的空间维度。具体来说，该网络首先应用一个3×3卷积层进行特征提取，随后通过一个1×1卷积层扩展特征维度，接着是一个k×k尺寸的深度可分离卷积层，以及一个通道压缩和激励网络模块，最终通过另一个1×1卷积层减少特征维度。通过这种结构设计，efficientnet能够在保持准确性的同时提高模型的运算效率。

17、针对跳跃连接结构，在u-net++特征融合网络原先四次跳跃连接的基础上，融合更多的跳跃连接和特征采样网络，这种结构使得u-net++能够抓取不同层次的特征，并通过特征叠加的方式整合，减少语义差距，提高分割精度；同时在每个模块后加入深度监督卷积网络，使得在可接受的精度范围内可以大幅度缩减参数量，提高模型的效率。

18、在步骤4）中，所述损失函数方法具体为：

19、将损失函数设置为focal_loss和dice_loss的加权和，权重比可为 6︰4。

20、其中focal_loss是一种改进的损失函数，它基于二分类交叉熵损失函数（ce）进行修改，目的是解决类别不平衡问题，特别是在目标检测和图像分割等任务中。focal loss通过减少易分类样本的权重，使模型在训练时更专注于难分类的样本，以此来提高对小目标缺陷的检测精度，同时用于加强对钙钛矿薄膜本体形貌的捕捉，具体计算公式如下：

21、

22、其中，表示focal损失函数， 是模型对正类样本的预测概率，是对正类和负类的平衡因子，可取0.5；是调节因子，用于控制难分样本的权重，可取4；y表示该样本真实的标签；

23、dice损失函数用于促进模型对缺陷的检测。具体计算公式如下：

24、

25、其中，表示dice损失函数，表示正样本像素被正确检测为缺陷的像素总数，表示负样本像素被正确检测为负样本的像素总数，表示负样本被错误检测为正样本的像素总数。

26、在步骤5）中，钙钛矿薄膜缺陷检测可视化方法具体为：

27、基于pyqt5框架设计图形用户界面并集成缺陷检测网络，通过可视化界面上传图像文件，然后通过预训练的改进u-net++模型对图像进行分析和处理。在模型输出检测结果后，系统计算并展示缺陷区域的比例，并将缺陷检测结果以图像形式直观展示。

28、本发明提供基于改进u-net++的钙钛矿薄膜太阳能电池缺陷检测系统，包括：数据采集模块、数据处理与增强模块、模型构建与训练模块、缺陷检测推理模块和可视化交互模块；

29、所述数据采集模块用于在受控环境中采集钙钛矿薄膜原始图像；

30、所述数据处理与增强模块用于对原始图像进行清洗、增强及数据集划分；

31、所述模型构建与训练模块用于构建并训练改进的u-net++缺陷检测模型；

32、所述缺陷检测推理模块用于加载预训练模型并对输入图像进行缺陷检测与统计；

33、所述可视化交互模块用于提供用户界面并展示检测结果。

34、进一步的，所述数据采集模块包括：

35、工业相机和环境控制设备；所述工业相机为hikrobot 4k ccd相机，支持400-800nm波长白光光源，通过底部打光使钙钛矿薄膜缺陷区域呈白色；所述环境控制设备包括手套箱、真空传递盒和恒温恒湿箱，用于维持低温低湿的拍摄环境以防止薄膜形变。

36、进一步的，所述数据处理与增强模块包括：

37、小目标过采样单元，用于通过连通域检测筛选面积小于5像素的缺陷样本并进行过采样；

38、多角度增强单元，用于对图像进行90°、270°旋转及镜像翻转；

39、数据集划分单元，用于按7:2:1的比例将数据划分为训练集、验证集和测试集。

40、进一步的，所述模型构建与训练模块包括：

41、细粒度特征挖掘模块，用于通过将输入图像划分为4个子图并进行双线性插值拼接，经双层特征融合网络增强小缺陷特征提取能力；

42、编码模块，采用efficientnet-b7作为骨干网络，其包含mbconv结构和se模块，用于高效提取深层语义特征；

43、多尺度特征融合模块，用于通过密集跳跃连接融合不同层级的编码器与解码器特征；

44、损失函数采用focal loss与dice loss的加权和，权重比为6︰4。

45、进一步的，所述se模块包括：

46、全局平均池化层，用于压缩特征图空间信息；

47、两个全连接层，用于生成通道注意力权重；

48、特征重标定单元，用于将注意力权重与原始特征图逐通道相乘以增强关键特征。

49、进一步的，所述缺陷检测推理模块包括：

50、预处理单元，用于将输入图像调整为512×512分辨率并归一化至[0,1]；

51、模型推理单元，用于加载预训练改进u-net++模型并输出缺陷概率图；

52、后处理单元，用于通过阈值分割生成二值掩膜，并统计缺陷面积占比、数量及最大/最小像素值。

53、进一步的，所述可视化交互模块包括：

54、图像上传与显示单元，用于支持用户上传jpg/png格式图像并实时预览；

55、检测结果可视化单元，用于对比缺陷掩膜与原始图像，并展示缺陷面积、数量及像素统计值；

56、操作日志单元，用于记录用户操作及系统状态信息。

57、与现有技术相比，本发明具有以下突出的优点和技术效果：

58、本发明公开一种高精度钙钛矿薄膜缺陷检测系统，首先根据钙钛矿的特性搭建低温低湿避光图像采集设备，采集原始图像并完成数据集构建；然后基于u-net++改进网络结构，提出了基于细粒度特征挖掘的细粒度特征挖掘机制，对输入的图像进行尺度变换并融合特征，使得模型能更好的关注图片中的微小特征并将其部署在图像分割模型u-net++上，并更换骨干网络为efficientnet；在训练损失函数上，针对样本不平衡的情况提出了混合loss，使得网络能更好的挑选困难的类别；在得到训练好的改进u-net++模型参数后，基于pyqt5开发图形可视化界面，通过界面上传待检测图像并直观地查看缺陷检测结果和缺陷面积比例，通过图形用户界面的友好交互，使得本发明具有广泛的适用性和易用性，实现缺陷检测过程的自动化和智能化，极大地降低对专业检测人员的需求，提高缺陷检测的效率和准确性。

59、本发明通过创新的设备搭建、数据增强策略、网络结构改进以及可视化界面开发，有效解决传统检测方法存在的效率低、微小缺陷检测精度差等问题。实验结果表明，本发明方法在自制钙钛矿薄膜数据集上小缺陷检测召回率达99.22%，精确率为97.74%，较u-net模型分别提升了2.38%和0.53%；本发明方法在小目标缺陷检测上具有显著优势，能够为钙钛矿太阳能电池的生产质量控制提供可靠保障。本发明在钙钛矿太阳能电池生产领域广泛应用，推动行业检测技术的智能化发展。