光伏组件检测方法、装置、设备及存储介质与流程

1.本发明涉及无人机技术领域，尤其涉及一种光伏组件检测方法、装置、设备及存储介质。


背景技术：

2.目前，光伏电站运维主要依赖光伏逆变器的电压电流等电气特性，但是受限于逆变器、汇流箱的安装方式，电气运维只能精确到组串，难以精确到具体组件，并且受到天气影响较大，故障诊断精度不高。针对具体光伏组件的运维主要依赖人工巡检，而大型光伏电站分布环境复杂，覆盖面积巨大，受地形影响，还呈现杂乱性和分散性，采用人工巡检的方式十分费时费力。而诸如山地电站，水上电站等，更是给人工巡检带来极大的挑战。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种光伏组件检测方法、装置、设备及存储介质，旨在解决现有技术光伏组件巡检难度大的技术问题。
5.为实现上述目的，本发明提供了一种光伏组件检测方法，所述方法包括以下步骤:
6.根据所述红外摄像机获取红外图像信息；
7.根据所述红外图像信息确定目标光伏组件图像；
8.对所述目标光伏组件图像进行目标检测，确定目标热斑。
9.可选的，所述对所述目标光伏组件进行目标检测，确定目标热斑，包括：
10.将所述目标光伏组件图像输入预设目标检测模型，得到目标检测结果；
11.根据所述目标检测结果确定目标热斑。
12.可选的，所述将所述目标光伏组件图像输入预设目标检测模型，得到目标检测结果之前，还包括：
13.获取训练样本，所述训练样本至少包括正常光伏组件图像样本、热斑光伏组件图像样本和反光光伏组件图像样本；
14.根据所述训练样本对预设初始神经网络模型进行训练，得到预设目标检测模型。
15.可选的，所述对所述目标光伏组件图像进行目标检测，确定目标热斑之后，还包括：
16.获取无人机定位信息；
17.监测所述目标热斑的相对位置信息；
18.根据所述无人机定位信息和所述相对位置信息，确定目标光伏组件地理位置。
19.可选的，所述对所述目标光伏组件图像进行目标检测，确定目标热斑之后，还包括：
20.确定所述目标热斑的像素面积；
21.确定所述目标热斑对应光伏组件的像素面积；
22.根据所述目标热斑的像素面积、目标热斑对应光伏组件的像素面积以及预设光伏组件产品信息确定目标热斑实际面积，根据所述目标热斑实际面积确定所述对应光伏组件的故障情况。
23.可选的，所述根据所述红外摄像机获取红外图像信息之后，还包括：
24.检测红外图像的图像质量；
25.在所述红外图像的图像质量低于预设图像质量时，生成飞行调整指令值；
26.根据所述飞行调整指令调整所述无人机的飞行参数直至图像质量不再低于预设图像质量。
27.可选的，所述根据所述飞行调整指令调整所述无人机的飞行参数直至图像质量不再低于预设图像质量，包括：
28.根据所述飞行调整指令调整所述无人机的飞行高度；
29.在完成所述无人机的飞行高度调整，且所述图像质量低于预设图像质量时，调整所述无人机的飞行速度直至图像质量不再低于预设图像质量。
30.此外，为实现上述目的，本发明还提出一种光伏组件检测装置，所述光伏组件检测装置包括：
31.获取模块，用于根据所述红外摄像机获取红外图像信息；
32.处理模块，用于根据所述红外图像信息确定目标光伏组件图像；
33.所述处理模块，还用于对所述目标光伏组件图像进行目标检测确定目标热斑。
34.此外，为实现上述目的，本发明还提出一种光伏组件检测设备，所述光伏组件检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光伏组件检测程序，所述光伏组件检测程序配置为实现如上文所述的光伏组件检测方法的步骤。
35.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有光伏组件检测程序，所述光伏组件检测程序被处理器执行时实现如上文所述的光伏组件检测方法的步骤。
36.本发明根据所述红外摄像机获取红外图像信息；根据所述红外图像信息确定目标光伏组件图像；对所述目标光伏组件图像进行目标检测，确定目标热斑。通过上述方式，使用无人机进行巡检并结合红外成像技术和目标检测技术对光伏组件热斑进行自动识别，提高了光伏设备的运维效率。
附图说明
37.图1是本发明实施例方案涉及的硬件运行环境的光伏组件检测设备的结构示意图；
38.图2为本发明光伏组件检测方法第一实施例的流程示意图；
39.图3为本发明光伏组件检测方法第二实施例的流程示意图；
40.图4为本发明光伏组件检测装置第一实施例的结构框图。
41.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
42.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
43.参照图1，图1为本发明实施例方案涉及的硬件运行环境的光伏组件检测设备结构示意图。
44.如图1所示，该光伏组件检测设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
45.本领域技术人员可以理解，图1中示出的结构并不构成对光伏组件检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
46.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及光伏组件检测程序。
47.在图1所示的光伏组件检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明光伏组件检测设备中的处理器1001、存储器1005可以设置在光伏组件检测设备中，所述光伏组件检测设备通过处理器1001调用存储器1005中存储的光伏组件检测程序，并执行本发明实施例提供的光伏组件检测方法。
48.本发明实施例提供了一种光伏组件检测方法，参照图2，图2为本发明一种光伏组件检测方法第一实施例的流程示意图。
49.本实施例中，所述光伏组件检测方法包括以下步骤：
50.步骤s10：根据所述红外摄像机获取红外图像信息。
51.需要说明的是，本实施例的执行主体为无人飞行载具，所述无人飞行载具上设置有红外摄像机，所述无人飞行载具可以为无人机，也可以为其他与无人机功能相同或者相似的其他设备，本实施例对此不加以限定且以无人机为例对本实施例进行说明。
52.应当说明的是，本实施例应用于对光伏电站以及光伏设备的巡检过程中，由于目前针对具体光伏组件的运维主要依赖人工巡检，而大型光伏电站分布环境复杂，覆盖面积巨大，受地形影响，还呈现杂乱性和分散性，采用人工巡检的方式十分费时费力。而诸如山地电站，水上电站等，更是给人工巡检带来极大的挑战。因此，本实施例提出通过无人飞行载具进行巡检这是因为通过无人机进行巡检，受地形限制小，视野广，高效、灵活、安全，极大地方便光伏电站运维。进一步的本实施例还提出通过无人机搭载的红外摄像机进行成像，以根据光伏组件的温度分布情况快速的确认是否发生故障以及故障的位置和情况，这是因为红外相机可以精确地检测光伏组件的表面温度，不对电站运行造成干扰。根据光伏组件表面温度情况可以检测故障，排除安全隐患，并粗略估计该故障对发电效率的影响。与可见光相机相比，红外相机可以发现由光伏组件内部缺陷引起的故障。而可见光相机只能检测遮挡、玻璃碎裂等肉眼可见的故障。因此采用无人机携红外相机对光伏电站进行巡检，
可以提高巡检效率，提高安全性，降低运维成本，极大地减轻电站运维压力，对保障光伏电站稳定运行具有十分重要的意义。
53.需要说明的是，光伏组件主要为太阳能电池板、变电器、储能器以及能量传输设备等，本实施例对此不加以限定。
54.可以理解的是，所述红外图像信息即为红外摄像机采集到的温度信息再经过渲染得到的图像，一般的红外相机的传感器直接检测的为温度信息，然后通过算法将温度信息渲染为图像。渲染模式有多种，如果采用熔岩模式，其渲染算法会采用类似均衡化的方式，针对当前采集的图像信息进行渲染。
55.需要说明的是，当光伏组件例如：太阳能电池板，出现故障时，故障的区域会明显异于周围正常工作的区域，例如：太阳能板面破损或者出现遮挡物覆盖，那么此处的热吸收效率会发生明显变化在红外图像中就会出现明显的热斑，又例如：光伏组件内部出现缺陷或者线路故障，在红外图像中也会出现明显的热斑。
56.在本实施例中，检测红外图像的图像质量；在所述红外图像的图像质量低于预设图像质量时，生成飞行调整指令值；根据所述飞行调整指令调整所述无人机的飞行参数直至图像质量不再低于预设图像质量。
57.需要说明的是，图像质量表明了所采集到的红外图像是否清晰，由于受到环境、距离和设备型号的影响，所采集到的图像清晰度并不一定能达到进行识别的标准，这是因为红外相机对焦不准，其中，无人机飞行速度过快等都会导致红外图像成像模糊，对光伏组件和热斑检测造成干扰。我们采用在无人机采集到图像后加入图像质量判断的方法来解决这个问题。
58.在本实施例中，根据所述飞行调整指令调整所述无人机的飞行高度；在完成所述无人机的飞行高度调整，且所述图像质量低于预设图像质量时，调整所述无人机的飞行速度直至图像质量不再低于预设图像质量。
59.在具体实现中，在无人机采集到图像后在线进行图像质量判断，如果图像模糊，则先试着自动调整无人机飞行高度，再试着自动调整无人机飞行速度，直到无人机采集到的图像清晰了之后再继续进行下一步的飞行和图像采集、处理。
60.进一步的，本实施例提出一种飞行控制的优选方案，以保证无人机能够尽快的达到需求的图像质量，例如：飞行调整指令调整所述无人机的飞行高度，首先飞到提前标定好的预设第一离地高度，逐渐降低为第二离地高度，下降过程中，图像质量满足要求即停止。如果达到第二离地高度依然模糊，则逐渐降低飞行速度直至画面清晰。
61.步骤s20：根据所述红外图像信息确定目标光伏组件图像。
62.需要说明的是，在巡检过程中需要先将光伏组件识别出来在进行热斑的检测，因此可以先用深度学习神经网络可以检测出环境图像中的光伏组件，以锁定光伏组件所在目标框中的图像，所述目标框中的图像即为目标光伏组件图像。
63.在具体实现中，用于检测光伏组件的深度学习神经网络可以通过存在光伏组件和不存在光伏组件只有环境图像的图像样本进行训练，在训练时，将一块光伏组件整体作为样本将其标注标注为正样本，将无用的环境图像作为负样本进行训练。
64.步骤s30：对所述目标光伏组件图像进行目标检测，确定目标热斑。
65.需要说明的是，在确定了目标光伏组件图像后需要进一步对故障点进行确认，在
不同的红外图像中，同一温度可能会对应不同的颜色。观察无人机巡检视频可以发现，当红外相机视野中出现十分明亮的区域时，其他区域都会有一定程度的变暗。
66.本实施例通过目标检测模型进行识别。例如：使用12个残差组件，1001个卷积核组成了深度学习神经网络进行光伏组件、热斑检测，深度学习神经网络的基本框架可以分为4个部分:input、backbone、neck和prediction。input部分通过拼接数据增强来丰富数据集，对硬件设备要求低，计算成本低。backbone部分主要由csp模块组成，通过cspdarknet53进行特征提取。在neck中使用fpn和路径聚合网络(panet)来聚合该阶段的图像特征。最后，网络进行目标预测并通过预测输出。上述神经网络模型仅仅用于对神经网络的结构进行说明，并不用于限定本方案。
67.可以理解的是，用深度学习神经网络可以检测一块块光伏组件，也可以检测出哪一块光伏组件的什么位置存在热斑。可以把这两个功能结合起来，分两步进行，先检测光伏组件，再在光伏组件上检测热斑，这样就可以检测出存在热斑的光伏组件和热斑的位置了。
68.在本实施例中，获取无人机定位信息；监测所述目标热斑的相对位置信息；根据所述无人机定位信息和所述相对位置信息，确定目标光伏组件地理位置。
69.应当说明的是，检测出热斑后，结合图像对应的无人机gps定位信息，就可以定位到是哪一个光伏组件存在热斑，然后进行进一步的对应处理。这是因为在确认了目标热斑后，还需要获取目标热斑相关的信息以对后续的维护进行提供信息基础。首先需要确定热斑具体的位置信息，此时可以借助无人机的gps定位系统，以确定较为准确的地理位置，通过gps可以确定出现问题的光伏组件大致位置，进一步的可以知道是哪一个光伏站点出现了问题，以便维护人员前往。但即使知道了大致的位置，一般情况下还需要根据无人机拍摄的实际图像进行辨认找到在光伏组件的具体位置。鉴于这种情况，可以通过无人机采集到的图像计算热斑的方位信息，根据无人机的当前位置，结合热斑与无人机的相对位置(距离以及方位角)确定较为精确的热斑位置。
70.在本实施例中，确定所述目标热斑的像素面积；确定所述目标热斑对应光伏组件的像素面积；根据所述目标热斑的像素面积、目标热斑对应光伏组件的像素面积以及预设光伏组件产品信息确定目标热斑实际面积，根据所述目标热斑实际面积确定所述对应光伏组件的故障情况。
71.应当说明的是，在确认了目标热斑后还需要进一步的确认热斑的情况，以帮助运维人员准备维修的工具和策略，具体的可以在检测到光伏组件和光伏组件上的热斑后，计算出热斑目标框面积和光伏组件目标框面积之比，可以作为热斑面积大小的参考值，进而帮助维护人员推测故障类型和规模，由于这一步骤还需要确认各类组件的框面或者表面作为参照物，因此还需要提前收集各类组件的大小参数即预设光伏组件产品信息，此外，还需要根据目标光伏组件图像对光伏组件进行识别，以确定参照物的类型，例如：太阳能电池板中出现了热斑，就可以对热斑所在的太阳能电池板进行识别，确定其型号或者类型，再结合预设光伏组件产品信息找到对应的太阳能电池板的框体尺寸，进而换算出目标热斑大小。因此识别光伏组件还需要标注光伏组件，需要收集和标注各种类型、各种尺寸的样本，对神经网络进行训练，这样才能在进行检测时检测到各种类型的目标。
72.本实施例根据所述红外摄像机获取红外图像信息；根据所述红外图像信息确定目标光伏组件图像；对所述目标光伏组件图像进行目标检测，确定目标热斑。通过上述方式，
使用无人机进行巡检并结合红外成像技术和目标检测技术对光伏组件热斑进行自动识别，提高了光伏设备的运维效率。
73.参考图3，图3为本发明一种光伏组件检测方法第二实施例的流程示意图。
74.基于上述第一实施例，本实施例光伏组件检测方法在所述步骤s30，包括：
75.步骤s31：将所述目标光伏组件图像输入预设目标检测模型，得到目标检测结果。
76.需要说明的是，热斑的检测需要通过预先训练好的预设目标检测模型进行识别获得，其中，预设目标检测模型可以为神经网络模型，具体可以为使用12个残差组件，1001个卷积核组成了深度学习神经网络进行光伏组件、热斑检测的深度神经网络，深度学习神经网络的基本框架可以分为4个部分:input、backbone、neck和prediction。input部分通过拼接数据增强来丰富数据集，对硬件设备要求低，计算成本低。backbone部分主要由csp模块组成，通过cspdarknet53进行特征提取。在neck中使用fpn和路径聚合网络(panet)来聚合该阶段的图像特征。最后，网络进行目标预测并通过预测输出得到最终的检测结果，其中检测结果包括是否存在热斑，若存在则输出热斑在目标光伏组件图像中的位置。
77.其中，用深度学习神经网络可以检测一块块光伏组件，也可以检测出哪一块光伏组件的什么位置存在热斑。可以把这两个功能结合起来，分两步进行，先检测光伏组件，再在光伏组件上检测热斑，这样就可以检测出存在热斑的光伏组件和热斑的位置了。
78.在本实施例中，获取训练样本，所述训练样本至少包括正常光伏组件图像样本、热斑光伏组件图像样本和反光光伏组件图像样本；根据所述训练样本对预设初始神经网络模型进行训练，得到预设目标检测模型。
79.需要说明的是，在热斑检测过程中，最容神经网络最易出现误判的地方在于光伏组件可能出现反光的情况，当光伏组件出现了太阳的反射影像时，其它光伏组件区域会变暗。针对这种现象，进行热斑和反光检测时，可以使用的是热斑或反光区域与周围区域的亮度对比和热斑或反光区域的形状信息。在红外图像当中，反光图像的显色状态和热斑的显色状态非常相似，唯一的区别在于反光图像的边缘亮度变化情况相比于热斑更加不明显，即热斑具有更加明显的边界感，那在模型训练过程中就可以将带有反光光伏组件图像样本和热斑光伏组件图像样本的混合样本作为困难样本对神经网络模型进行训练以提升预设神经网络模型对于反光图像和热斑图像的区分能力。因为太阳能板实际中存在反光现象，红外图像上和热斑很像，带来干扰。在标注样本时我们可以根据反光斑的边缘是渐变的等特征对反光和热斑加以区分，然后在样本训练的过程中加入一类反光类。在无人机检测热斑时同时检测反光和热斑，就把反光和热斑区分开了。
80.步骤s32：根据所述目标检测结果确定目标热斑。
81.可以理解的是，在目标结果存在检测到热斑信息以及热斑的位置时，就可以知道目标光伏中存在目标热斑，在锁定热斑后即可以进一步根据目标热斑获取其他热斑信息。
82.本实施例将所述目标光伏组件图像输入预设目标检测模型，得到目标检测结果；根据所述目标检测结果确定目标热斑。通过在模型训练时加入困难样本，提升热斑和反光图像的区分度，实现了对热斑的有效识别，提高了热斑识别的准确性。
83.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有光伏组件检测程序，所述光伏组件检测程序被处理器执行时实现如上文所述的光伏组件检测方法的步骤。
84.参照图4，图4为本发明光伏组件检测装置第一实施例的结构框图。
85.如图4所示，本发明实施例提出的光伏组件检测装置包括：
86.获取模块10，用于根据所述红外摄像机获取红外图像信息。
87.处理模块20，用于根据所述红外图像信息确定目标光伏组件图像。
88.所述处理模块20，还用于对所述目标光伏组件图像进行目标检测确定目标热斑。
89.应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
90.本实施例获取模块10根据所述红外摄像机获取红外图像信息；处理模块20根据所述红外图像信息确定目标光伏组件图像；处理模块20对所述目标光伏组件图像进行目标检测，确定目标热斑。通过上述方式，使用无人机进行巡检并结合红外成像技术和目标检测技术对光伏组件热斑进行自动识别，提高了光伏设备的运维效率。
91.在本实施例中，所述将所述处理模块20，还用于目标光伏组件图像输入预设目标检测模型，得到目标检测结果；
92.根据所述目标检测结果确定目标热斑。
93.在本实施例中，所述将所述处理模块20，还用于获取训练样本，所述训练样本至少包括正常光伏组件图像样本、热斑光伏组件图像样本和反光光伏组件图像样本；
94.根据所述训练样本对预设初始神经网络模型进行训练，得到预设目标检测模型。
95.在本实施例中，所述将所述处理模块20，还用于获取无人机定位信息；
96.监测所述目标热斑的相对位置信息；
97.根据所述无人机定位信息和所述相对位置信息，确定目标光伏组件地理位置。
98.在本实施例中，所述将所述处理模块20，还用于确定所述目标热斑的像素面积；
99.确定所述目标热斑对应光伏组件的像素面积；
100.根据所述目标热斑的像素面积、目标热斑对应光伏组件的像素面积以及预设光伏组件产品信息确定目标热斑实际面积，根据所述目标热斑实际面积确定所述对应光伏组件的故障情况。
101.在本实施例中，所述将所述处理模块20，还用于检测红外图像的图像质量；
102.在所述红外图像的图像质量低于预设图像质量时，生成飞行调整指令值；
103.根据所述飞行调整指令调整所述无人机的飞行参数直至图像质量不再低于预设图像质量。
104.在本实施例中，所述将所述处理模块20，还用于根据所述飞行调整指令调整所述无人机的飞行高度；
105.在完成所述无人机的飞行高度调整，且所述图像质量低于预设图像质量时，调整所述无人机的飞行速度直至图像质量不再低于预设图像质量。
106.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
107.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的光伏组件检测方法，此处不再赘述。
108.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵
盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
109.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
110.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
111.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。