一种基于无人机巡检的光伏站故障点定位方法及系统与流程

1.本发明涉及光伏站故障点定位技术领域，特别是涉及一种基于无人机巡检的光伏站故障点定位方法及系统。


背景技术：

2.利用无人机对光伏站进行巡检时，由于环境因素（比如雪天、雨天、雾天、霾天、沙尘暴天、阴天和晴天等天气）的影响，导致光伏站的故障点在不同环境下的表现形态不一致，如何从不同环境下获得的无人机巡检图像中快速、准确地找出故障点，从而有效定位故障点并及时解决处理问题，是无人机光伏巡检过程中亟待解决的问题。


技术实现要素：

3.本发明的目的是提供一种基于无人机巡检的光伏站故障点定位方法及系统，能够快速准确的定位光伏站故障点，及时对光伏站的故障进行处理。
4.为实现上述目的，本发明提供了如下方案：一种基于无人机巡检的光伏站故障点定位方法，所述定位方法包括：获取无人机对光伏站进行巡检时所采集得到的巡检图像；以所述巡检图像作为输入，利用环境感知器确定所述巡检图像对应的各环境类型的概率值；所述环境类型为采集所述巡检图像时的天气类型；以所述各环境类型的概率值作为输入，利用环境去除器对所述巡检图像进行环境去除，得到无环境因素的第一特征图；以所述第一特征图作为输入，利用目标检测模型确定故障点位置。
5.一种基于无人机巡检的光伏站故障点定位系统，所述定位系统包括：获取模块，用于获取无人机对光伏站进行巡检时所采集得到的巡检图像；环境感知模块，用于以所述巡检图像作为输入，利用环境感知器确定所述巡检图像对应的各环境类型的概率值；所述环境类型为采集所述巡检图像时的天气类型；环境去除模块，用于以所述各环境类型的概率值作为输入，利用环境去除器对所述巡检图像进行环境去除，得到无环境因素的第一特征图；故障检测模块，用于以所述第一特征图作为输入，利用目标检测模型确定故障点位置。
6.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明用于提供一种基于无人机巡检的光伏站故障点定位方法及系统，先获取无人机对光伏站进行巡检时所采集得到的巡检图像，然后以巡检图像作为输入，利用环境感知器确定巡检图像对应的各环境类型的概率值，并以各环境类型的概率值作为输入，利用环境去除器对巡检图像进行环境去除，得到无环境因素的第一特征图，最后以第一特征图作为输入，利用目标检测模型确定故障点位置。本发明通过设计环境感知器和环境去除器能够去除环境因素对巡检图像的影响，从而能够快速准确的定位光伏站故障点，以及时对
光伏站的故障进行处理。
附图说明
7.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
8.图1为本发明实施例1所提供的定位方法的方法流程图；图2为本发明实施例2所提供的定位系统的系统框图。
具体实施方式
9.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
10.本发明的目的是提供一种基于无人机巡检的光伏站故障点定位方法及系统，能够快速准确的定位光伏站故障点，及时对光伏站的故障进行处理。
11.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
12.实施例1：对不同环境下无人机巡检光伏站的多变图像进行故障定位时，常用方法为采集各种环境下的数据并进行数据增强，丰富无人机采集到的数据多样性来训练神经网络模型，以提高无人机巡检光伏站时的故障点的定位效率，但这种方法需要采集较大的数据集，增加了采集数据，制作数据，标注数据的人力劳动成本，且不同环境下的数据采集难度较大。也有采用gan的方法生成超分辨率图像，对光伏站的故障点进行清晰定位，但这种方法效率不高，且极易受环境干扰，导致巡检不准。还有采用多级金字塔的方法，对遥感图像进行多级采样，但这种方法只适合环境条件较好的时候采集到的图像，无法消除多种环境因素的干扰。因此，如何能够快速、准确地从不同环境中确定光伏站故障点，一直是亟待解决的问题。
13.基于此，本实施例用于提供一种基于无人机巡检的光伏站故障点定位方法，如图1所示，所述定位方法包括：s1：获取无人机对光伏站进行巡检时所采集得到的巡检图像；具体的，在无人机对光伏站进行巡检时，可利用无人机自身携带的摄像头来采集固定视角下的巡检照片，以得到巡检图像。
14.s2：以所述巡检图像作为输入，利用环境感知器确定所述巡检图像对应的各环境类型的概率值；所述环境类型为采集所述巡检图像时的天气类型；s3：以所述各环境类型的概率值作为输入，利用环境去除器对所述巡检图像进行环境去除，得到无环境因素的第一特征图；s4：以所述第一特征图作为输入，利用目标检测模型确定故障点位置。
15.本实施例所提供的定位方法，通过设计环境感知器和环境去除器能够去除环境因素对巡检图像的影响，从而能够快速准确的定位光伏站故障点，以及时对光伏站的故障进行处理，提升无人机巡检光伏站时故障点的定位效率。
16.在s2之前，本实施例的定位方法还包括构建全量数据集，该全量数据集用于训练得到环境感知器、环境去除器以及目标检测模型。
17.具体的，构建全量数据集可以包括如下步骤：（1）基于第一数据集对sota二阶段大模型进行训练，得到第一模型；所述第一数据集包括正常环境下采集的多张训练用第一图像以及每一训练用第一图像对应的第一标签；所述正常环境为晴天；所述第一标签为训练用第一图像对应的故障点位置；具体的，第一数据集为基于晴朗环境下的数据集，其可以表示为：；其中，n为第一数据集；xi为第i张训练用第一图像，训练用第一图像为在晴天时，利用无人机对光伏站进行巡检所采集得到的图像，i=1，2，...，m；m为训练用第一图像的个数；yi为第i张训练用第一图像对应的第一标签；为样本空间。sota二阶段大模型为已有的已经训练好的用于目标检测的模型。
18.其中，基于第一数据集对sota二阶段大模型进行训练可以包括：设置小学习率，小学习率即为深度学习中微调的学习率，基于第一数据集，采用每a个epoch逐渐解冻sota二阶段大模型的倒数网络层的方式对sota二阶段大模型进行训练，即训练的时候不全放开所有网络层的参数，训练完成后得到第一模型，第一模型为具备超参数的sota二阶段大模型，其中，为超参数；是权重；b是偏置。
19.（2）获取第二数据集；所述第二数据集包括非正常环境下采集的多张训练用第二图像；所述非正常环境为除晴天之外的其他天气；具体的，第二数据集为非正常环境下的数据集，其可以表示为：；其中，n1为第二数据集，为第j张训练用第二图像，训练用第二图像为在除晴天之外的其他天气（例如雨天、雾天等天气）时，利用无人机对光伏站进行巡检所采集得到的图像，j=1，2，...，n；n为训练用第二图像的个数。
20.（3）利用第一模型对第二数据集进行预测，得到每一训练用第二图像对应的第二标签；所述第二标签为训练用第二图像对应的故障点位置；所有训练用第二图像和每一训练用第二图像对应的第二标签组成第三数据集；具体的，利用第一模型对训练用第二图像进行预测，直接生成第j张训练用第二图像对应的第二标签，其中，fb为第一模型。第三数据集可表示为：。
21.（4）合并第一数据集和第三数据集，得到第四数据集；具体的，第四数据集可表示为：其中，为第四数据集，xk为第k张训练图像，训练图像为训练用第一图像或者训
练用第二图像，k=1，2，...，p；p为训练图像的个数；yk为第k张训练图像对应的标签；当训练图像为训练用第一图像，则该标签为第一标签，当训练图像为训练用第二图像，则该标签为第二标签。
22.（5）基于第四数据集对第一模型进行训练，得到第二模型；具体的，基于第四数据集对第一模型进行训练可以包括：按照m:n的比例对第一数据集和第三数据集进行混合，生成训练数据batch，并设置小学习率。基于训练数据，采用每a个epoch逐渐解冻第一模型的倒数网络层的方式对第一模型进行训练，逆序逐步更新第一模型的参数，得到具备更新后的模型参数的第二模型，其中，为模型参数；是权重；是偏置。
23.（6）利用第二模型对第二数据集进行预测，得到每一训练用第二图像对应的第三标签；第三标签为训练用第二图像对应的故障点位置；所有训练用第二图像和每一训练用第二图像对应的第三标签组成第五数据集；利用第二模型对非正常环境下的第二数据集进行预测，直接生成第j张训练用第二图像对应的第三标签，进而形成第五数据集。
24.（7）合并第一数据集和第五数据集，得到全量数据集。
25.全量数据集可以表示为：在得到全量数据集之后，在s2之前，本实施例的定位方法还包括生成环境感知器的步骤，可以包括：以encoder网络结构作为初始环境感知器，基于全量数据集对初始环境感知器进行训练，得到环境感知器。encoder模型负责抽取各环境因素特征图，并利用全连接层对各环境类型进行概率值输出，即环境感知器的输出为，其中，v为环境类型的数目，pa为第a种环境类型的概率值，a=1，2，...，v；mlp为多层感知器；x为巡检图像。
26.在得到全量数据集之后，在s3之前，本实施例的定位方法还包括生成环境去除器的步骤，可以包括：以多头decoder网络结构作为初始环境去除器，基于全量数据集对初始环境去除器进行训练，得到环境去除器，具体基于全量数据集中非正常环境下的数据与正常环境下的数据n，形成匹配对，以对初始环境去除器进行训练。multi-head-decoder模型负责剔除特征图中的各环境因素，并输出剔除环境因素后的第一特征图，即：；其中为带有环境因素的巡检图像，i为多头decoder的输出，即无环境因素的第一特征图。
27.在得到全量数据集之后，在s4之前，本实施例的定位方法还包括生成目标检测模型的步骤，可以包括：以sota一阶段小模型作为初始目标检测模型，基于全量数据集对初始目标检测模型进行训练，得到目标检测模型。sota一阶段小模型为已有的用于目标检测的
模型。具体的，基于全量数据集，设置小学习率，每a个epoch逐渐解冻初始目标检测模型的倒数网络层，进行训练，训练完成后得到具有超参数的目标检测模型，其中，为超参数；是权重；是偏置。全量数据集有利于小模型学习有环境因素的故障点定位问题，由于环境去除器对环境因素去除不完全，因此小模型可以高性能解决该环境因素残留问题，进一步提高故障点定位精度。
28.具体的，s3可以包括：（1）以各环境类型的概率值作为输入，利用可控逻辑门将各环境类型的概率值转换为相应的权重值；（2）将权重值分别赋予环境去除器的每一个头，得到赋予权重值的环境去除器，以实现自适应去除环境功能；（3）利用赋予权重值的环境去除器对巡检图像进行环境去除，得到无环境因素的第一特征图。
29.无人机飞行参数（比如无人机飞行高度和无人机飞行速度）也会影响光伏站故障点的形态，为了解决这一问题，以进一步提高故障点的定位精度，本实施例还包括去除无人机飞行高度和飞行速度对故障点检测的影响的步骤，该步骤可以应用在s2之前，也可以应用在s4之前。
30.当该步骤应用在s2之前，即本实施例先去除飞行高度和飞行速度的影响，再去除环境因素的影响，此时，在以巡检图像作为输入，利用环境感知器确定巡检图像对应的各环境类型的概率值之前，本实施例的定位方法还包括对巡检图像进行处理，消除无人机飞行高度和飞行速度的影响，得到处理后图像，并以处理后图像作为新的巡检图像，执行s2。
31.其中，对巡检图像进行处理，消除无人机飞行高度和飞行速度的影响，得到处理后图像可以包括：（1）根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；飞行高度调节模型主要用于消除无人机飞行高度对光伏站目标故障点检测带来的影响，该飞行高度调节模型主要由多尺度下采样的神经网络组成，其中i为输入图像，pooling为池化操作，为第d层多尺度下采样层；为第d-1层多尺度下采样层。此飞行高度调节模型根据无人机飞行高度值，自适应多尺度下采样嵌套，飞行高度值high越大，下采样嵌套次数d越大。
32.（2）根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；飞行速度调节模型主要用于消除无人机飞行速度对光伏站目标故障点所带来的影响，该飞行速度调节模型主要由残差连接的神经网络组成，其中，conv为卷积操作，为第e次残差补偿；为第e-1次残差补偿。飞行速度调节模型根据无人机飞行速度值，自适应残差嵌套，飞行速度值speed越大，残差补偿次
数e越大。
33.（3）利用飞行高度调节模型对巡检图像进行处理，消除无人机飞行高度的影响，得到中间图像；（4）利用飞行速度调节模型对中间图像进行处理，消除无人机飞行速度的影响，得到处理后图像。
34.或者，对巡检图像进行处理，消除无人机飞行高度和飞行速度的影响，得到处理后图像可以包括：（1）根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；（2）根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；（3）利用飞行速度调节模型对巡检图像进行处理，消除无人机飞行速度的影响，得到中间图像；（4）利用飞行高度调节模型对中间图像进行处理，消除无人机飞行高度的影响，得到处理后图像。
35.具体的，当该步骤应用在s4之前，即本实施例先去除环境因素的影响，再去除飞行高度和飞行速度的影响，此时，在以第一特征图作为输入，利用目标检测模型确定故障点位置之前，本实施例的定位方法还包括对第一特征图进行处理，消除无人机飞行高度和飞行速度的影响，得到处理后特征图，并以处理后特征图作为新的第一特征图，执行s4。
36.其中，对第一特征图进行处理，消除无人机飞行高度和飞行速度的影响，得到处理后特征图可以包括：（1）根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；（2）根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；（3）利用飞行高度调节模型对第一特征图进行处理，消除无人机飞行高度的影响，得到第二特征图；（4）利用飞行速度调节模型对第二特征图进行处理，消除无人机飞行速度的影响，得到处理后特征图。
37.或者，对第一特征图进行处理，消除无人机飞行高度和飞行速度的影响，得到处理后特征图可以包括：（1）根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；（2）根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；（3）利用飞行速度调节模型对第一特征图进行处理，消除无人机飞行速度的影响，得到第二特征图；（4）利用飞行高度调节模型对第二特征图进行处理，消除无人机飞行高度的影响，得到处理后特征图。
38.本实施例提出一种针对多变环境下的故障点定位方法，通过环境感知器对采集的巡检图像进行环境确认，针对相应的环境，启用环境去除器，将目标还原为易识别的故障目标，并解耦合无人机飞行高度与速度带来的视图影响，最终以小模型快速检测出故障点，从而大大提高了无人机巡检光伏站的故障点定位效率。
39.本实施例所提供的定位方法，无人机在巡检过程中，以飞行视角采集巡检图像，巡检图像经过自适应飞行速度调节模型，根据飞行速度自动调节残差连接，消除飞行速度对图像带来的影响；经过自适应飞行高度调节模型，根据飞行高度自动调节尺度层级，消除飞行高度对图像带来的影响；经过环境感知器，对图像进行环境感知，自动调节链接控制门，调用相应的环境去除器进行环境去除，最后经过训练好的sota一阶段小模型（即目标检测模型），给出巡检故障点结果，由于模型较小，在无人机端侧即可实现即时巡检。由本实施例提出的定位方法，可以有效提升多变环境下无人机的光伏站故障点巡检效率，即使在不同环境中，无人机在巡检过程中都可快速定位光伏站的故障点的具体位置，降低了误报率，提升了无人机巡检准确率以及效率，间接地缩短了人工处理解决光伏站故障的时间，保障了光伏站整体业务能力。
40.实施例2：本实施例用于提供一种基于无人机巡检的光伏站故障点定位系统，如图2所示，所述定位系统包括：获取模块m1，用于获取无人机对光伏站进行巡检时所采集得到的巡检图像；环境感知模块m2，用于以所述巡检图像作为输入，利用环境感知器确定所述巡检图像对应的各环境类型的概率值；所述环境类型为采集所述巡检图像时的天气类型；环境去除模块m3，用于以所述各环境类型的概率值作为输入，利用环境去除器对所述巡检图像进行环境去除，得到无环境因素的第一特征图；故障检测模块m4，用于以所述第一特征图作为输入，利用目标检测模型确定故障点位置。
41.作为一种可选的实施方式，本实施例的定位系统还包括：高度调节模块，用于根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；利用飞行高度调节模型对巡检图像进行处理，消除无人机飞行高度的影响，得到中间图像；速度调节模块，用于根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；利用飞行速度调节模型对中间图像进行处理，消除无人机飞行速度的影响，得到处理后图像。
42.或者，本实施例的定位系统还包括：速度调节模块，用于根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；利用飞行速度调节模型对巡检图像进行处理，消除无人机飞行速度的影响，得到中间图像；高度调节模块，用于根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；利用飞行高度调节模型对中间图像进行处理，消除无人机飞行高度的影响，得到处理后图像。
43.或者，本实施例的定位系统还包括：高度调节模块，用于根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；利用飞行高度调节模型对第一特征图进行处理，消除无人机飞行高度的影响，得到
第二特征图；速度调节模块，用于根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；利用飞行速度调节模型对第二特征图进行处理，消除无人机飞行速度的影响，得到处理后特征图。
44.或者，本实施例的定位系统还包括：速度调节模块，用于根据无人机飞行速度确定残差补偿次数，并基于残差补偿次数构建残差连接的神经网络，得到飞行速度调节模型；利用飞行速度调节模型对第一特征图进行处理，消除无人机飞行速度的影响，得到第二特征图；高度调节模块，用于根据无人机飞行高度确定下采样嵌套次数，并基于下采样嵌套次数构建多尺度下采样的神经网络，得到飞行高度调节模型；利用飞行高度调节模型对第二特征图进行处理，消除无人机飞行高度的影响，得到处理后特征图。
45.本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
46.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。