一种基于航拍图像的光伏组串位置确定方法及系统

1.本发明涉及太阳能光伏电站运维及图像处理技术领域，特别是涉及一种基于航拍图像的光伏组串位置确定方法及系统。


背景技术：

2.无人机巡检已经在光伏电站大规模推广应用。为了实现无人机对光伏电站的全自动高效巡检，须根据精准的光伏电站组串分布地图，确定光伏组串位置，从而规划出高效的巡航路线，节省宝贵的巡航时间。此外，精准的光伏电站组串分布地图对查找定位缺陷光伏组串、光伏电站的数字化管理、光伏电站资产评估以及光伏电站施工验收等方面均有重要意义。绘制精准的光伏电站组串分布地图，需要获得光伏组串的具体位置、具体形状等数据。现存的人工勘测需要大量时间，成本高昂，且在一些地形复杂的光伏电站，人工测量也存在一定的安全隐患。


技术实现要素：

3.鉴于此，本发明的目的是提供一种基于航拍图像的光伏组串位置确定方法及系统，能够准确检测出光伏电站中光伏组串的位置信息和尺寸信息，以便于航线规划和光伏电站的数字化和信息化管理。
4.为实现上述目的，本发明提供了如下方案：本发明提供了一种基于航拍图像的光伏组串位置确定方法，包括：建立光伏电站的样本数据集，并基于所述样本数据集对改进的u-net模型进行训练，得到目标分割模型；获取目标光伏电站的航拍图像；将所述目标光伏电站的航拍图像输入到目标分割模型中，以确定所述目标光伏电站的光伏组串分割结果图；采用形态学图像处理算法对所述光伏组串分割结果图进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息；所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标；所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度；其中，所述样本数据集包括多个样本，且所述样本包括子图片以及所述子图片对应的光伏组串位置信息；所述光伏组串位置信息包括图像坐标和地理位置坐标；所述子图片为包含光伏组串的图片；改进的所述u-net模型为采用scse模块对u-net模型进行改进后得到的模型。
5.可选地，所述样本数据集的构建过程为：获取不同的光伏电站的航拍图像；对每张所述航拍图像均进行分割处理以得到多张子图片，并使用数据集标注软件，将每张所述子图片中的光伏组串标注出来，以确定每张所述子图片对应的光伏组串位
置信息；或者，使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来，并对光伏组串标注出来的航拍图像进行分割，以确定每张子图片对应的光伏组串位置信息。
6.可选地，改进的所述u-net模型包括收缩路径和扩展路径；所述收缩路径包括多个第一模块；每个所述第一模块均包括卷积层和池化层，且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scse模块；所述扩展路径包括多个第二模块和一个输出模块；每个所述第二模块均包括卷积层和上卷积层，且按照信息传输方向，除了第一个所述第二模块外，其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scse模块。
7.可选地，所述采用形态学图像处理算法对所述光伏组串分割结果图进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息，具体包括：对所述光伏组串分割结果图进行二值化处理，得到二值图像；采用八连通计算方式，确定所述二值图像中的所有连通区域；采用面积阈值方式和形态学操作，剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域，得到最终的连通区域；采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
8.可选地，所述采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息，具体包括：采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度；将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换，以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
9.本发明还提供了一种基于航拍图像的光伏组串位置确定系统包括：目标分割模型确定模块，用于建立光伏电站的样本数据集，并基于所述样本数据集对改进的u-net模型进行训练，得到目标分割模型；获取模块，用于获取目标光伏电站的航拍图像；光伏组串分割结果图确定模块，用于将所述目标光伏电站的航拍图像输入到目标分割模型中，以确定所述目标光伏电站的光伏组串分割结果图；光伏组串位置信息和尺寸信息计算模块，用于采用形态学图像处理算法对所述光伏组串分割结果图进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息；所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标；所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度；其中，所述样本数据集包括多个样本，且所述样本包括子图片以及所述子图片对应的光伏组串位置信息；所述光伏组串位置信息包括图像坐标和地理位置坐标；所述子图片为包含光伏组串的图片；改进的所述u-net模型为采用scse模块对u-net模型进行改进后得到的模型。
10.可选地，还包括样本数据集构建模块；
所述样本数据集构建模块，用于：数据获取单元，用于获取不同的光伏电站的航拍图像；标签信息标注单元，用于：对每张所述航拍图像均进行分割处理以得到多张子图片，并使用数据集标注软件，将每张所述子图片中的光伏组串标注出来，以确定每张所述子图片对应的光伏组串位置信息；或者，使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来，并对光伏组串标注出来的航拍图像进行分割，以确定每张子图片对应的光伏组串位置信息。
11.可选地，改进的所述u-net模型包括收缩路径和扩展路径；所述收缩路径包括多个第一模块；每个所述第一模块均包括卷积层和池化层，且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scse模块；所述扩展路径包括多个第二模块和一个输出模块；每个所述第二模块均包括卷积层和上卷积层，且按照信息传输方向，除了第一个所述第二模块外，其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scse模块。
12.可选地，所述光伏组串位置信息和尺寸信息计算模块，具体包括：二值图像计算单元，用于对所述光伏组串分割结果图进行二值化处理，得到二值图像；连通区域确定单元，用于采用八连通计算方式，确定所述二值图像中的所有连通区域；最终连通区域确定单元，用于采用面积阈值方式和形态学操作，剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域，得到最终的连通区域；位置信息和尺寸信息计算单元，用于采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
13.可选地，所述位置信息和尺寸信息计算单元，具体包括：第一信息计算子单元，用于采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度；第二信息计算子单元，用于将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换，以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
14.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明通过改进的u-net模型和形态学图像处理算法对光伏电站的航拍图像进行处理，以达到准确检测出光伏电站中光伏组串的位置信息的目的，从而便于航线规划和光伏电站的数字化和信息化管理。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
16.图1为本发明实施例提供的基于航拍图像的光伏组串位置确定方法的流程图；图2为本发明实施例提供的改进的u-net模型结构示意图；图3为本发明实施例光伏电站5的航拍图；图4为本发明实施例光伏电站5的航拍图像对应的光伏组串分割结果图；图5为本发明实施例消除误检后的的光伏组串分割结果图；图6为本发明实施例消除漏检后的的光伏组串分割结果图；图7为本发明实施例收集到的典型光伏电站航拍图；图8为本发明实施例样本数据集中的图片形式示意图；图9为本发明实施例子图片示意图；图10为本发明实施例目标分割模型输出的光伏组串分割结果图；图11为本发明实施例经过图形图像算法修正后的分割结果图；图12为本发明实施例经过边界提取算法后提取出的光伏组件边界和位置信息示意图；图13为本发明实施例提供的基于航拍图像的光伏组串位置确定系统的结构图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.本发明的目的是提供一种基于航拍图像的光伏组串位置确定方法及系统，能够准确检测出光伏电站中光伏组串的位置信息，以便于航线规划和光伏电站的数字管理。
19.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
20.实施例一图1为本发明实施例提供的基于航拍图像的光伏组串位置确定方法的流程图，如图1所示，本发明实施例提供的基于航拍图像的光伏组串位置确定方法包括：步骤101：建立光伏电站的样本数据集，并基于所述样本数据集对改进的u-net模型进行训练，得到目标分割模型。
21.步骤102：获取目标光伏电站的航拍图像。
22.步骤103：将所述目标光伏电站的航拍图像输入到目标分割模型中，以确定所述目标光伏电站的光伏组串分割结果图。
23.步骤104：采用形态学图像处理算法对所述光伏组串分割结果图进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息；所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标；所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度。
24.其中，所述样本数据集包括多个样本，且所述样本包括子图片以及所述子图片对应的光伏组串位置信息；所述光伏组串位置信息包括图像坐标和地理位置坐标；所述子图
片为包含光伏组串的图片；改进的所述u-net模型为采用scse模块对u-net模型进行改进后得到的模型。
25.进一步地，本发明实施例所述的样本数据集的构建过程为：1)获取不同的光伏电站的航拍图像。
26.为了得到光伏电站的航拍图像，首先在白天时候对光伏电站的全部区域进行地毯式巡航拍摄，可以得到多张包含光伏电站局部分布的航拍图像。其次将拍摄得到的图像使用大疆制图（dji terra）软件进行合成，即可得到整个光伏电站的航拍图像，重复上述操作，得到所有光伏电站的航拍图像。
27.在本发明实施例中，共获取了5个光伏电站的航拍图像。光伏电站的航拍图像可以通过卫星图像获得，也可以使用无人机进行建图航拍。
28.2)对每张所述航拍图像均进行分割处理，得到多张子图片。
29.将光伏电站的航拍图像分割成为多张且大小一致的小图片，即子图片，分辨率为256
×
256像素，并保证每张子图片包含三个左右的局部光伏组串。
30.其中，可采用平移翻转、模糊等数据增强方法对子图片进行二次处理，以增加子图片的数量。
31.经过上述处理可获得1596张子图片。
32.3)使用数据集标注软件，将每张所述子图片中的光伏组串标注出来，以确定每张所述子图片对应的光伏组串位置信息。
33.或者，也可以采用以下处理步骤来构建样本数据集，具体为：先获取不同的光伏电站的航拍图像；然后使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来，并对光伏组串标注出来的航拍图像进行分割，以确定每张子图片对应的光伏组串位置信息。
34.进一步地，本发明实施例所述的改进的u-net模型如图2所示，改进的u-net模型包括收缩路径和扩展路径。
35.所述收缩路径包括多个第一模块；每个所述第一模块均包括卷积层和池化层，且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scse模块；所述扩展路径包括多个第二模块和一个输出模块；每个所述第二模块均包括卷积层和上卷积层，且按照信息传输方向，除了第一个所述第二模块外，其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scse模块。
36.进一步地，上述样本数据集包括训练集，验证集和测试集。
37.一个示例：将4个光伏电站的子图片按照8：2随机划分训练集和验证集，以参与改进的所述u-net模型的训练，进而得到目标分割模型。
38.为了验证目标分割模型对于整体光伏电站的光伏组串分割效果，将另外一个光伏电站（即光伏电站5）的子图片整体保留下来，并作为测试集，不参与模型训练。样本数据集分布如表1所示。
39.表1 样本数据集情况表
在此基础上，通过模型训练、验证等步骤，使目标分割模型具有从航拍图像中分割光伏组串的能力。其中，训练过程中的学习率设定为0.001，批量大小为32经过上述训练优化得到的目标分割模型的输入是分割后的航拍图像，输出是光伏组串分割结果图（光伏组串部分为1，背景部分为0）。
40.另一示例：为了评价目标分割模型在测试集上的准确率和泛化性能，采用了改进的五折交叉验证方式，具体做法为：将光伏电站（即光伏电站5）的子图片整体保留下来，并作为测试集，以验证目标分割模型对于整个光伏电站航拍图像中的光伏组串的识别能力，剩下的子图片随机分为五份，每份包含20%的数据。模型在其中四份组成的训练集上进行训练，剩余一份作为验证集。重复五次，每份数据必须充当一次验证集。在测试集上计算训练好的模型的miou，取五次测试集的均值作为训练好的模型的最终的miou。
41.训练好的模型在五次交叉验证中都迭代300次，结果由表2给出。在测试集上的交叉验证结果分别是：98.77%，98.8%，98.51%，98.64%和98.42%（均值98.62%，标准差0.16%），五次交叉验证结果表明训练后的模型在测试集上的miou趋于稳定状态，波动较小。
42.表2 五折交叉验证实验结果表其中，图3为光伏电站5的航拍图像，图4为光伏电站5的航拍图像对应的光伏组串分割结果图。
43.进一步地，步骤103得到的光伏组串分割结果图为0-255的灰度图像。
44.步骤104具体包括：第一步，将输出的光伏组串分割结果图进行二值化处理，得到二值图像；为了最大程度的保留模型识别出的光伏组串区域，将二值化阈值设置为较小值，例如10。
45.第二步，采用八连通计算方式，确定二值图像中的所有连通区域。
46.第三步，采用面积阈值方式和形态学操作，剔除连通区域中的误检区域和填补所述连通区域中的漏检区域，得到最终的连通区域；具体为：计算出每个连通区域的面积，如果连通区域为光伏组串，则连通区域面积会比较大，如果是像素级别的误检，则连通区域面积比较小。根据此可以通过设置面积阈值方式，过滤掉面积较小的连通区域，即误检区，其处理后的结果如图5所示。
47.漏检区域在检测结果中表示为白色组串区域中间出现的小黑块。本发明实施例利用形态学中的闭操作来消除连通区域中的少量漏检和不平滑的边缘。这是因为闭操作是对图像进行先膨胀后腐蚀的过程，因为先进行了膨胀操作，所以可以填充物体内部的细小空洞，可以填补检测结果中的漏检区；再进行腐蚀操作起到可以平滑细小边界的作用，平滑检测到的光伏组串边缘。其处理后的结果如图6所示。
48.第四步，采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息；具体为：步骤a：采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度。
49.一个示例：在得到消除误检和漏检的检测结果后，先利用canny算子检测每个最终得到的连通区域的边缘，得到每个光伏组串的边缘信息。
50.利用轮廓提取算法，获得每个光伏组串的外接多边形和最小外接矩形轮廓，进而计算出中心坐标位置。
51.步骤b：将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换，以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
52.实施例二本发明实施例提供的基于航拍图像的光伏组串位置确定方法包含了数据收集和预处理、数据集建立、模型训练、模型应用、结果精修和位置信息提取六大部分。在算法优化阶段需要完成数据收集和预处理、数据集建立、模型训练这三个步骤。在实际应用中只需要模型应用、结果精修和位置信息提取这三部分。
53.图7为本发明实施例收集到的典型光伏电站航拍图像，收集方法为使用无人机搭载云台相机的方式进行建图航拍任务，获得光伏电站的完整正射图像。
54.图8为本发明实施例样本数据集中的图片形式，为了充分利用收集到的航拍图像，先将整个航拍图像分割为一个个小图片，图片尺寸为256像素x256像素，即子图片，如图9所示，并仅保留包含光伏组串的子图片。使用数据集标注软件将每张子图片中的光伏组串标注出来。将标注好的样本数据集按照一定比例进行划分，分为训练集，验证集和测试集。
55.使用训练集在提出的目标分割网络上进行训练，根据实验结果调整超参数使得目标分割网络训练效果更佳。根据验证集上的结果优化网络和调整超参数，在测试集上进行网络的效果测试，最终得到目标分割模型。此过程中，针对样本数据集图片缺少的问题可以使用数据增强方法。
56.目标分割模型在光伏电站航拍图像上的初步结果如图10所示，包含了一些误检和漏检，为了不影响最终效果，现使用图像算法进行消除。该过程的主要步骤包括：1.初步结果二值化处理；2.过滤掉面积较小的连通区域，即误检区；
3.利用膨胀腐蚀等形态学操作消除漏检区，消除误检漏检后的结果如图11所示；4.经过边界提取算法即可提取出光伏组串的详细位置信息，如图12所示，具体步骤为：利用轮廓提取算法，获得光伏组串的外接多边形和最小外接矩形轮廓，并计算出中心坐标位置和光伏组串的长宽。优选地，轮廓提取算法为canny算子边缘检测算法。
57.实施例三图13为本发明实施例提供的基于航拍图像的光伏组串位置确定系统的结构图，如图13所示，本发明实施例提供的一种基于航拍图像的光伏组串位置确定系统，包括：目标分割模型确定模块100，用于建立光伏电站的样本数据集，并基于所述样本数据集对改进的u-net模型进行训练，得到目标分割模型。
58.获取模块200，用于获取目标光伏电站的航拍图像。
59.光伏组串分割结果图确定模块300，用于将所述目标光伏电站的航拍图像输入到目标分割模型中，以确定所述目标光伏电站的光伏组串分割结果图。
60.光伏组串位置信息和尺寸信息计算模块400，用于采用形态学图像处理算法对所述光伏组串分割结果图进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息；所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标；所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度。
61.其中，所述样本数据集包括多个样本，且所述样本包括子图片以及所述子图片对应的光伏组串位置信息；所述光伏组串位置信息包括图像坐标和地理位置坐标；所述子图片为包含光伏组串的图片。
62.改进的所述u-net模型为采用scse模块对u-net模型进行改进后得到的模型。
63.作为一种优选的实施方式，本发明实施例提供的系统还包括样本数据集构建模块；所述样本数据集构建模块，用于：数据获取单元，用于获取不同的光伏电站的航拍图像。
64.标签信息标注单元，用于：对每张所述航拍图像均进行分割处理以得到多张子图片，并使用数据集标注软件，将每张所述子图片中的光伏组串标注出来，以确定每张所述子图片对应的光伏组串位置信息。
65.或者，使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来，并对光伏组串标注出来的航拍图像进行分割，以确定每张子图片对应的光伏组串位置信息。
66.作为一种优选的实施方式，本发明实施例提供的改进的所述u-net模型包括收缩路径和扩展路径。
67.所述收缩路径包括多个第一模块；每个所述第一模块均包括卷积层和池化层，且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scse模块。
68.所述扩展路径包括多个第二模块和一个输出模块；每个所述第二模块均包括卷积层和上卷积层，且按照信息传输方向，除了第一个所述第二模块外，其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scse模块。
69.作为一种优选的实施方式，本发明实施例提供的所述光伏组串位置信息和尺寸信息计算模块400，具体包括：
二值图像计算单元，用于对所述光伏组串分割结果图进行二值化处理，得到二值图像。
70.连通区域确定单元，用于采用八连通计算方式，确定所述二值图像中的所有连通区域。
71.最终连通区域确定单元，用于采用面积阈值方式和形态学操作，剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域，得到最终的连通区域。
72.位置信息和尺寸信息计算单元，用于采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
73.进一步地，所述位置信息和尺寸信息计算单元，具体包括：第一信息计算子单元，用于采用边界提取算法对每个最终得到的连通区域进行处理，以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度。
74.第二信息计算子单元，用于将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换，以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
75.通过本发明可以从光伏电站航拍图像中得到每个光伏组串的确切位置，结合无人机飞行和路线自动规划技术，可以实现按照组串位置进行高效巡检。同时对电站的数字化管理和施工进度评估等也有重要意义。
76.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
77.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。