一种全景地图拉花检测方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种全景地图拉花检测方法、装置、设备及存储介质。


背景技术：

2.随着国家对清洁、可再生能源的开发、研究投入越来越大，基于太阳能的光伏产业迅猛发展。光伏电站的规模持续扩大，使得电站运维成为电站运营中必不可少的部分。
3.目前常利用无人机实现对光伏电站的运维。例如，可通过无人机携带的摄像装置对光伏电站中的光伏组件进行图像采集，并基于图像分析的检测方法实现组件故障检测与定位。而通过无人机巡检完整个电站以进行组件故障检测之前，一般需要先将采集到的图片进行拼接，以生成光伏电站的全景电子地图，从而便于后续将检测到的故障组件定位至全景电子地图中，以便于运维人员找到相应的故障组件进行维护。
4.在全景电子地图的拼接过程中，通常由图像配准算法直接实现相邻图像的配准工作，然而由于光伏组件图像中组件相似度过高，为图像配准工作带来了较大的困难，也会导致拼接而成的全景电子地图中某些组件区域出现拉花现象，进而影响全景电子地图的拼接质量，导致组件故障检测定位准确性降低。
5.因此，如何准确地检测出全景电子地图中存在拉花现象的区域以便于运维人员可及时对拉花区域进行图像重采集和镶嵌修复，从而提高全景电子地图的拼接质量，保证组件故障检测定位准确性是本领域亟待解决的问题。


技术实现要素：

6.本发明提供了一种全景地图拉花检测方法、装置、设备及存储介质，将图像特征提取与神经网络模型相结合，对全景地图中存在拉花现象的区域进行精确检测定位，提升了全景地图中拉花区域定位的精度和准确性，进而使得运维人员可及时对拉花区域进行图像重采集和镶嵌修复。
7.第一方面，本发明实施例提供了一种全景地图拉花检测方法，包括：
8.获取光伏电站的全景地图，以及与全景地图对应的数字地表模型；
9.根据数字地表模型，由全景地图中分割确定至少一个待处理组件区域图像；
10.对各待处理组件区域图像进行特征提取，依据提取的特征确定初始拉花区域图像；
11.将初始拉花区域图像输入至预先构建的组件分割神经网络模型中，根据输出的目标分割图像确定初始拉花区域图像中的目标拉花区域。
12.第二方面，本发明实施例还提供了一种全景地图拉花检测装置，包括：
13.地图模型获取模块，用于获取光伏电站的全景地图，以及与全景地图对应的数字地表模型；
14.待处理图像确定模块，用于根据数字地表模型，由全景地图中分割确定至少一个
待处理组件区域图像；
15.初始图像确定模块，用于对各待处理组件区域图像进行特征提取，依据提取的特征确定初始拉花区域图像；
16.拉花区域确定模块，用于将初始拉花区域图像输入至预先构建的组件分割神经网络模型中，根据输出的目标分割图像确定初始拉花区域图像中的目标拉花区域。
17.第三方面，本发明实施例还提供了一种全景地图拉花检测设备，该全景地图拉花检测设备包括：
18.至少一个处理器；以及
19.与至少一个处理器通信连接的存储器；其中，
20.存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，使得至少一个处理器能够实现本发明任一实施例的全景地图拉花检测方法。
21.第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的全景地图拉花检测方法。
22.本发明实施例提供的一种全景地图拉花检测方法、装置、设备及存储介质，通过获取光伏电站的全景地图，以及与全景地图对应的数字地表模型；根据数字地表模型，由全景地图中分割确定至少一个待处理组件区域图像；对各待处理组件区域图像进行特征提取，依据提取的特征确定初始拉花区域图像；将初始拉花区域图像输入至预先构建的组件分割神经网络模型中，根据输出的目标分割图像确定初始拉花区域图像中的目标拉花区域。通过采用上述技术方案，在获取到全景地图以及与全景地图对应的数字地表模型后，首先依据数字地表模型对全景地图进行信息提取与分割，将其中包含光伏组件的待处理组件区域提取出来，进而通过对各待处理组件区域进行图像特征提取，明确其中可能存在拉花现象的初始拉花区域图像，结合预先训练好的组件分割神经网络模型对初始拉花区域图像进行组件分割，使得初始拉花区域图像可被更加细化的分割，进而依据分割所得的目标分割图像精确确定具有拉花现象的目标拉花区域，解决了现有全景电子地图拼接过程中难以对存在拉花现象的区域进行精准定位的问题，提升了全景地图中拉花区域定位的精度和准确性，使得运维人员可及时对拉花区域进行图像重采集和镶嵌修复，进而提升了依据全景地图进行组件故障检测的准确性。
23.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
24.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是本发明实施例一中的一种全景地图拉花检测方法的流程图；
26.图2是本发明实施例二中的一种全景地图拉花检测方法的流程图；
27.图3是本发明实施例二中的一种第一区域集合的示例图；
28.图4是本发明实施例二中的一种待处理组件区域的示例图；
29.图5是本发明实施例二中的一种长直线子集的示例图；
30.图6是本发明实施例二中的一种短直线子集的示例图；
31.图7是本发明实施例二中的一种组件分割神经网络模型的训练方法的流程示例图；
32.图8是本发明实施例二中的一种组件分割神经网络模型的网络结构示例图
33.图9是本发明实施例二中的一种目标分割图像的示例图；
34.图10是本发明实施例二中的一种目标拉花区域定位框的示例图；
35.图11是本发明实施例三中的一种全景地图拉花检测装置的结构示意图；
36.图12是本发明实施例四中的一种全景地图拉花检测设备的结构示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
38.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.实施例一
40.图1为本发明实施例一提供的一种全景地图拉花检测方法的流程图，本发明实施例可适用于针对多图拼接的全景地图中存在拉花现象的区域进行检测定位识别的情况，该方法可以由全景地图拉花检测装置来执行，该全景地图拉花检测装置可以配置在计算机设备上，该计算机设备可以是笔记本、台式计算机以及智能平板等。
41.如图1所示，本实施例一提供的一种全景地图拉花检测方法，具体包括如下步骤：
42.s101、获取光伏电站的全景地图，以及与全景地图对应的数字地表模型。
43.在本实施例中，全景地图具体可理解为一种通过图像拍摄设备对同一大场景中不同子场景进行有重合的多角度拍摄后，将拍摄到的各图像进行拼接所得到的电子地图。数字地表模型(digital surface model，dsm)具体可理解为包含了地表建筑物、桥梁和数目等高度的地面高程模型。
44.具体的，在需要对全景地图中存在拉花现象区域进行检测定位时，首先获取需要进行检测的全景地图，同时获取依据构建该全景地图的图像构建的地面高程模型，将其作为与全景地图对应的数字地表模型，该数字地表模型可用以表征全景地图中存在的各平面特征的高度信息。
45.示例性的，本发明实施例中的全景地图可为针对光伏电站的全景地图，可通过无人机依据规划路径对需要进行全景地图构建的光伏电站中各光伏组件进行巡检，在规划路径中各采集点采集可见光图像，并记录下采集点所处位置的地理位置坐标，并将各地理位置坐标对应保存为在该采集点采集的可见光图像中心点处的地理位置坐标。进而在完成采集后，将包含地理位置坐标信息的各可见光图像输入至全景地图生成软件中进行全景地图和地面高程模型的生成，示例性的，全景地图生成软件可为pix4dmapper，本发明实施例对此不进行限制。
46.进一步地，由于光伏电站的建站位置存在多样性，现有技术中针对多幅连续光伏组件图像的快速拼接仍存在泛化性较差的问题，如对水面电站和浮体电站进行全景地图构建时，因电站中采集的可见光图像内容仅包含水面和光伏组件，图像相似度很高，在采用如上述示例中采用的全景地图生成软件进行全景地图生成时，仍会存在一些拉花现象，严重影响所得全景地图拼接的质量。
47.s102、根据数字地表模型，由全景地图中分割确定至少一个待处理组件区域图像。
48.在本实施例中，待处理组件区域图像具体可理解为全景地图中光伏组件所处区域对应的图像。
49.具体的，由于拉花现象常出现于光伏组件区域，故可在进行目标拉花区域定位时优先将全景图像中各光伏组件对应区域分割出来，并将每个包含连续光伏组件的区域确定为待处理组件区域图像。且由于数字地表模型与全景地图存在对应关系，可用以表征全景地图中各位置坐标点对应的高度信息，而光伏组件所处区域高度存在固定规律，且光伏组件所在区域形状规则，故可根据数字地表模型中的高程信息对其中组件存在区域进行定位，并依据定位由全景地图中分割得到至少一个待处理组件区域图像。
50.s103、对各待处理组件区域图像进行特征提取，依据提取的特征确定初始拉花区域图像。
51.在本实施例中，初始拉花区域图像具体可理解为各待处理组件区域图像中存在拉花现象的图像。
52.具体的，由于并非所有待处理组件区域图像均存在拉花现象，故首先需对各待处理组件区域图像进行特征提取，以得到其对应的图像特征，且由于正常拼接的组件区域内的图像特征应规律分布，而拉花现象存在区域由于拼接错误其对应图像特征也应与正常拼接位置不同，此时可针对特征提取后的各待处理组件区域图像进行特征比对识别，将其中存在拉花现象对应图像特征的待处理组件区域图像确定为初始拉花区域图像。
53.在本发明实施例中，首先通过图像特征提取初步对存在拉花现象的组件区域图像进行确定，进而在更小范围内进行拉花区域的定位，采用二次定位的方法，提升了拉花区域定位准确性。
54.s104、将初始拉花区域图像输入至预先构建的组件分割神经网络模型中，根据输出的目标分割图像确定初始拉花区域图像中的目标拉花区域。
55.在本实施例中，组件分割神经网络模型具体可理解为一种用以将输入的图像按照预训练规则进行二分类，进而对其中不同类型区域进行分区的神经网络模型。目标分割图像具体可理解为预先构建的组件分割神经网络模型对初始拉花区域图像进行划分后输出的图像。目标拉花区域具体可理解为初始拉花区域图像中具体存在拉花现象的组件区域。
56.具体的，将初始拉花区域图像输入至已经完成训练的组件分割神经网络模型，通过组件分割神经网络模型对初始拉花区域图像进行二分类，并输出包含组件区域位置信息的目标分割图像，进而由目标分割图像中提取各组件区域位置信息中所包括的形状特征，以确定组件区域位置信息所对应的组件是否出现拉花现象，并将存在拉花现象且相互连通的组件的外接矩形框确定为目标拉花区域定位框，并将位于目标拉花区域定位框内的区域确定为目标拉花区域。
57.本实施例的技术方案，通过获取光伏电站的全景地图，以及与全景地图对应的数字地表模型；根据数字地表模型，由全景地图中分割确定至少一个待处理组件区域图像；对各待处理组件区域图像进行特征提取，依据提取的特征确定初始拉花区域图像；将初始拉花区域图像输入至预先构建的组件分割神经网络模型中，根据输出的目标分割图像确定初始拉花区域图像中的目标拉花区域。通过采用上述技术方案，在获取到全景地图以及与全景地图对应的数字地表模型后，首先依据数字地表模型对全景地图进行信息提取与分割，将其中包含光伏组件的待处理组件区域提取出来，进而通过对各待处理组件区域进行图像特征提取，明确其中可能存在拉花现象的初始拉花区域图像，结合预先训练好的组件分割神经网络模型对初始拉花区域图像进行组件分割，使得初始拉花区域图像可被更加细化的分割，进而依据分割所得的目标分割图像精确确定具有拉花现象的目标拉花区域定位框，解决了现有全景电子地图拼接过程中难以对存在拉花现象的区域进行精准定位的问题，提升了全景地图中拉花区域定位的精度和准确性，使得运维人员可及时对拉花区域进行图像重采集和镶嵌修复，进而提升了依据全景地图进行组件故障检测的准确性。
58.实施例二
59.图2为本发明实施例二提供的一种全景地图拉花检测方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化，通过数字地表模型中的高程信息、预设高程阈值以及预设边界条件明确全景地图中待处理组件区域的坐标信息，进以由全景地图中提取至少一个待处理组件区域图像，对各待处理组件区域图像进行图像特征提取，依据提取出的直线相关信息以及预先设置的第一预设拉花判定条件，将存在拉花现象的待处理组件区域图像确定为初始拉花区域图像，进一步地将初始拉花区域图像输入至预先构建的组件分割神经网络模型中完成更精确的组件区域分割，进以依据组件区域的连通性对其形状及面积进行确定，进而依据预先设置的第二预设拉花判定条件对各组件区域进行判定，确定目标连通区域图像，进而将最小外接与各目标连通区域图像的矩形框确定为目标拉花区域定位框，基于目标拉花区域定位框确定初始拉花区域图像中的目标拉花区域。同时本发明实施例二还提供了对组件分割神经网络模型进行构建训练的方法，将图像特征提取方法、神经网络模型以及连通特征提取方法相结合，设置不同的拉花判定条件以递进的方式完成对拉花区域的精确定位，提升了全景地图中拉花区域定位的精度和准确性，进而使得运维人员可及时对拉花区域进行图像重采集和镶嵌修复。
60.如图2所示，本发明实施例二提供的一种全景地图拉花检测方法，具体包括如下步骤：
61.s201、获取光伏电站的全景地图，以及与全景地图对应的数字地表模型。
62.s202、根据数字地表模型中的高程信息与预设高程阈值，确定第一区域集合。
63.在本实施例中，预设高程阈值具体可理解为预先设置的用以确定数字地表模型中
光伏组件可能存在区域的阈值，其可根据光伏组件通用高度进行设置，也可根据实际情况进行适应性设置，本发明实施例对此不进行限制。
64.具体的，由于数字地表模型可用以反应其对应图像中所有存在元素的高程信息，而位于全景地图中的光伏组件高度应近似且高于如灌木等干扰因素的高度，故可预先设置一个预设高程阈值，将数字地表模型中高程信息大于预设高程阈值的区域确定为光伏组件可能存在的区域，并将上述区域的集合确定为第一区域集合。
65.s203、根据第一区域集合中各第一区域的边界特征，将边界特征符合预设边界条件的第一区域确定为待处理组件区域。
66.在本实施例中，预设边界条件具体可理解为用以判定连通区域是否为组件所处区域的判定条件。可选的，预设边界条件可为封闭区域边界为矩形，也可为其他可判定光伏组件所处区域的特征条件，本发明实施例对此不进行限制。待处理组件区域具体可理解为需要进行拉花现象判定的光伏组件所处的区域。
67.示例性的，图3为本发明实施例二提供的一种第一区域集合的示例图，如图3所示，根据预设高程阈值提取出的第一区域集合中包括许多不规则或不连续的点状区域，在一直光伏电站中光伏组件应以规则形状存在的情况下，可通过边界特征的识别及筛选将其中形状规则的区域，以进一步细化光伏组件应处于的区域。
68.具体的，将第一区域集合中一个连续区域确定为一个第一区域，利用边界提取算法提取每一个第一区域的边界特征，进而将每个第一区域的边界特征与预设边界条件进行比对，在预设边界条件为封闭区域边界为矩形的情况下，可将第一区域集合中边界特征为矩形特征的第一区域筛选保留下来，将不符合矩形特征的不规则第一区域删除，进而将筛选出的第一区域所对应的区域确定为待处理组件区域，可认为待处理组件区域对应着光伏电站连续光伏组件所处区域。
69.示例性的，图4为本发明实施例二提供的一种待处理组件区域的示例图，如图4所示，其中包括经筛选后所得的多个待处理组件区域，已将如图3所示第一区域集合中连续区域边界特征不符合矩形特征的第一区域删除。
70.在本发明实施例中，依次通过高程信息和边界特征由数字地表模型中，确定高度与形状均符合的区域，并将其作为可能存在光伏组件的待处理组件区域，使得确定出的待处理组件区域包含特征与光伏组件所在区域特征更加近似，提升了依据待处理组件区域在全景地图中确定的区域中检测到拉花现象的可能性。
71.s204、根据各待处理组件区域对应的坐标信息，由全景地图中提取与各待处理组件区域对应的待处理组件区域图像。
72.具体的，由于数字地表模型与全景地图存在对应关系，则数字地表模型中的坐标也与全景地图中的坐标存在对应，在确定出个待处理组件区域对应的坐标信息后，可根据该坐标信息确定全景地图中相对应的坐标，并将对应坐标范围内的图像确定为与各待处理组件区域对应的待处理组件区域图像。
73.在本发明实施例中，利用数字地表模型与全景地图的结合，由全景地图中分割出光伏组件可能存在区域对应的待处理组件区域图像，相对于直接依据针对全景地图的图像特征提取识别，充分考虑组件区域在形状及高程上具备的特征，提升了待处理组件区域图像确定的准确性。
74.s205、对各待处理组件区域图像进行灰度化和边缘化处理，确定待处理组件区域边缘图像。
75.具体的，由于自全景地图中提取的待处理组件区域图像为可见光图片，为了确定其中是否存在拉花现象，基于光伏组件的特性需提取其中的直线信息，故首先针对其进行灰度化处理，再进行canny边缘化，得到边缘化后的待处理组件区域边缘图像。
76.s206、提取各待处理组件区域边缘图像中的直线集合。
77.示例性的，可在各待处理组件区域边界图像中通过霍夫线变换方法进行搜索，确定所有可能存在的直线，并将所有直线的集合确定为该待处理组件区域边缘图像对应的直线集合。
78.s207、将满足第一预设拉花判定条件的直线集合对应的待处理组件区域图像确定为初始拉花区域图像。
79.在本实施例中，第一预设拉花判定条件具体可理解为依据光伏组件中的直线特征，以及发生拉花现象时光伏组件中可能存在的直线特征确定的用以确定较大范围的组件区域内是否存在拉花现象的条件。
80.具体的，由直线集合中提取对应的直线特征，并将直线特征与第一预设拉花判定条件相比对，若其符合第一预设拉花判定条件，则可初步认定该直线集合对应的待处理组件区域图像中存在拉花现象，并将其作为初始拉花区域图像，依次对所有直线集合进行判定，直到所有待处理组件区域图像完成判定为止。
81.进一步地，针对每个直线集合，根据预设长度阈值将直线集合划分为长直线子集和短直线子集；若长直线子集对应的第一长度均值、短直线子集对应的第二长度均值、长直线子集对应的第一元素个数和短直线子集对应的第二元素个数均满足第一预设拉花判定条件，则将直线集合对应的待处理组件区域图像确定为初始拉花区域图像。
82.其中，第一预设拉花判定条件为第一长度均值大于第一预设倍数的第二长度均值、第一元素个数大于第一数量阈值且第二元素个数大于第二数量阈值。
83.在本实施例中，预设长度阈值具体可理解为根据光伏组件中连续直线的长度特征设置的，用以判断同一光伏组件中是否存在拉花现象的长度。第一预设拉花判定条件具体可理解为根据长直线平均长度、长短直线条数构建的用以确定直线集合对应的待处理组件区域图像中是否存在拉花现象的判定条件。需要明确的是，若不存在拉花现象，则拉花区域内应存在连续的长直线，且长直线的个数应达到一定数量阈值，而在存在拉花现象时，由于拼接产生的拉花现象会使得连续长直线破碎为多个短直线，故可依据确定的长度阈值将直线集合进行划分，并依据其中的长短直线长度均值和个数确定该直线集合对应的待处理组件区域图像是否为包括拉花现象的初始拉花区域图像。
84.示例性的，图5为本发明实施例二提供的一种长直线子集的示例图，图6为本发明实施例二提供的一种短直线子集的示例图。如图5和图6所示，其整体矩形区域用以表示待处理组件区域图像，在通过霍夫线变换识别到所有的直线之后，根据待处理组件区域图像中的坐标信息计算得到所有直线的长度，进而依据设置的预设长度阈值，将大于该预设长度阈值的直线确定为长直线，并将各长直线的集合确定为长直线子集，如图5所示，其中所有黑色线条的集合即为长直线子集；将小于或等于该预设长度阈值的直线确定为短直线，并将各短直线的集合确定为短直线子集，如图6所示，其中所有黑色线条的集合即为短直线
子集。
85.具体的，针对一个直线集合，根据预设长度阈值将其划分为长直线子集l和短直线子集s，将长直线子集l的长度均值确定为第一长度均值l
avg
，将长直线子集l中的长直线个数确定为第一元素个数n，将短直线子集s的长度均值确定为第二长度均值s
avg
，将短直线子集s中的短直线个数确定为第二元素个数m，假设第一预设倍数为5，第一数量阈值为5，第二数量阈值为5，则当l
avg
、s
avg
、n和m满足条件{l
avg
＞5
×savg
且n＞5且m＞5}时，可认为该直线集合对应的待处理组件区域图像为初始拉花区域图像。需要明确的是，第一预设倍数、第一数量阈值和第二数量阈值可根据实际情况进行设置，本发明实施例仅以上述取值范围为例，并不进行具体限制。
86.进一步地，图7为本发明实施例二提供的一种组件分割神经网络模型的训练方法的流程示例图，如图7所示，具体包括如下步骤：
87.s301、获取组件分割模型训练集。
88.其中，组件分割模型训练集中包括真实图像集以及与真实图像集对应的标定图像集，标定图像集中包括与真实图像集对应的像素点类别信息。
89.在本实施例中，组件分割模型训练集具体可理解为用以输入至未经训练的组件分割神经网络模型对其进行训练的，根据真实图像确定的训练对象的集合。进一步地，由于本技术中组件分割神经网络模型为用以根据输入模型依据二分类发进行组件分割的模型，故此时输入的组件分割训练集中应包括用以进行分割训练的，由组件区域对应的可见光图片构成的真实图像集，以及与真实图像集对应的进行人工标注各个组件的像素点类别后的标定图像集。
90.s302、将真实图像集输入至初始组件分割神经网络模型中，得到初始组件分割神经网络模型输出的中间分割图像集。
91.在本实施例中，初始组件分割神经网络模型具体可理解为未训练时的组件分割神经网络模型，其中的神经网络层组成构架与组件分割神经网络模型中完全一致，均可看作是一个上采样模块和一个下采样模块组合所构成的神经网络模型，但尚未对其中各神经网络层的权重参数进行调整。中间分割图像集具体可理解为未训练完成的初始组件分割神经网络模型根据输入的真实图像集输出的，对其中真实图像进行分割的结果。
92.具体的，将真实图像集输入至初始组件分割神经网络模型中进行训练，在训练过程中可提取出初始组件分割神经网络模型针对不同真实图像输出的不同中间分割图像结果，将各中间分割图像的集合确定为中间分割图像集。
93.s303、根据中间分割图像集与标定图像集构造损失函数。
94.具体的，由于中间分割图像集与标定图像集所包含的图像个数相同，且存在对应关系，故可根据标定后的标定图像集中包含的标定信息，以及与其对应的中间分割图像进行比对，根据比对结果确定对应的损失函数。
95.可选的，由于组件分割为一个二分类问题，故本发明实施例中针对损失函数类型进行选择，可将logistics损失函数作为目标函数，用于衡量预测值与实际值的偏离程度，损失函数可通过下式表示：
96.97.其中，i表示中间分割图像集中的中间分割图像个数，l表示损失值，y表示预测值，y’表示实际值，m表示类别数量。
98.s304、通过损失函数对初始组件分割神经网络模型进行训练，直到满足预设收敛条件，得到训练后的组件分割神经网络模型。
99.在本实施例中，预设收敛条件具体可理解为用以判断训练的初始组件分割神经网络模型是否进入收敛状态的条件。可选的，预设收敛条件可包括模型训练两次迭代之间的权重参数变化小于预设参数变化阈值，或迭代超过设定的最大迭代次数，或组件分割模型训练集中的样本全部训练完毕等，本发明实施例对此不进行限定。
100.具体的，依据损失函数对初始组件分割神经网络模型进行反向传播，使得用以组成初始组件分割神经网络模型的各神经网络层中的权重参数可依据损失函数进行调整，直到满足预设收敛条件时将训练完毕的初始组件分割神经网络模型确定为组件分割神经网络模型。
101.s208、将初始拉花区域图像输入至预先构建的组件分割神经网络模型的下采样模块中，确定至少两个不同尺度的特征图像。
102.示例性的，图8为本发明实施例二提供的一种组件分割神经网络模型的网络结构示例图，如图8所示，其中可包括一个作为编码结构的下采样模块和一个作为解码结构的上采样模块，其下采样模块中以两个3*3的卷积层再加上一个2*2的池化层组成为例，上采样模块以一个反卷积层和特征拼接层，以及两个3*3的卷积层构成为例。
103.接上述示例，假设初始拉花区域图像的大小为224*224，则将其输入至如图8所示的组件分割神经网络模型的下采样模块中，则可通过该下采样模块将其提取为112*112,56*56,28*28和14*14四个不同尺度的特征图像。
104.s209、将各特征图像输入至组件分割神经网络模型的上采样模块中，确定输出特征图像。
105.接上述示例，将112*112,56*56,28*28和14*14四个不同尺度的特征图像输入至如图8所示组件分割神经网络模型的上采样模块中进行解码，首先对14*14的特征图像进行反卷积，得到28*28的特征图像，然后将该28*28的特征图像与之前下采样模块中的28*28的特征图像进行通道拼接，再将拼接之后的特征图像做卷积和反卷积，则可得到56*56的特征图像，再与之前下采样模块中的56*56的特征图像拼接，通过卷积和反卷积，经过四次反卷积操作即可得到一个与输入的初始拉花区域图像尺寸相同的224*224的分割图像，将输出图像确定为与初始拉花区域图像对应的输出特征图像。
106.s210、将输出特征图像经损失层输出的结果确定为目标分割图像。
107.具体的，将输出特征图像输出传递至logistics损失层，并将经其输出的结果确定为目标分割图像。示例性的，图9为本发明实施例二提供的一种目标分割图像的示例图，其中白色色块表示光伏组件。
108.s211、根据连通性确定输出的目标分割图像中的连通区域图像集合。
109.具体的，由于正确拼接的光伏组件应呈规律的矩形分布，故为确定经组件分割后所得的目标分割图像中是否存在拉花现象，需通过连通性对其中存在的各连通区域图像进行确定，理论上可认为属于同一连通区域图像的为同一个光伏组件，将确定出的各连通区域图像的集合确定为连通区域图像集合。
110.s212、根据连通区域图像集合对应的平均图像面积、各连通区域图像的宽度、各连通区域图像的高度和第二预设拉花判定条件，确定至少一个目标连通区域图像。
111.其中，第二预设拉花判定条件为连通区域图像的面积等于连通区域图像的宽度与连通区域图像的高度之积，且连通区域图像的面积大于第二预设倍数的平均图像面积。
112.在本实施例中，第二预设拉花判定条件具体可理解为依据光伏组件的形状特征，以在较小范围内确定每个光伏组件是否为规则图像，进以判断其对应位置是否存在拉花现象的条件。
113.具体的，依据连通区域图像集合确定其中各连通区域图像的平均图像面积，以及各连通区域图像的宽度和高度，若一个连通区域图像为规则矩形，则其面积应等于对应长度与宽度之积，且面积应至少小于两倍的平均图像面积，故在本发明实施例中将面积等于连通区域图像的宽度与连通区域图像的高度之积，且连通区域图像的面积大于第二预设倍数的平均图像面积的连通区域确定为存在拉花现象的区域，进而将存在拉花现象的区域确定为目标连通区域图像。
114.接上述示例，以图9所示的目标分割图像的示例图为例，根据连通性确定其中的各连通区域，得到其中以白色表示的连通区域的坐标，进以计算白色块面积均值作为平均图像面积a
avg
，假设目标分割图像中连通区域个数为z，wi表示第i个连通区域的宽度，hi表示第i个连通区域的高度，则平均图像面积可通过下式表示：
[0115][0116]
进一步地，假设第二预设倍数为2，si表示第i个连通区域的面积，则当第i个连通区域满足条件{ai＝wi×hi
且ai＞2a
avg
}时，可认为第i个连通区域为目标连通区域图像。
[0117]
s213、将最小外接于各目标连通区域图像的矩形框确定为目标拉花区域定位框，基于目标拉花区域定位框确定初始拉花区域图像中的目标拉花区域。
[0118]
在本实施例中，目标拉花区域定位框具体可理解为初始拉花区域图像中具体存在拉花现象的组件区域的最小外接矩形框。
[0119]
具体的，由于各目标连通区域所对应形状并非规则形状，为清晰表明其在全景地图中的位置，可依据确定出的目标连通区域所在的坐标，确定最小外接于目标连通区域的矩形框所对应的坐标，并将该矩形框确定为目标拉花区域定位框实现对全景地图中拉花区域的检测定位，将位于目标拉花区域定位框内的区域确定为初始拉花区域图像中的目标拉花区域。示例性的，图10为本发明实施例二提供的一种目标拉花区域定位框的示例图，其中由黑线构成的矩形框即为目标拉花区域定位框。
[0120]
本实施例的技术方案，首先通过数字地表模型中的高程信息对可能存在光伏组件的区域依据预设高程阈值进行提取，进而针对提取出的满足高程条件的区域进行边界条件识别，以由全景地图中分割出至少一个待处理组件区域图像，使得确定出的待处理组件区域图像更加准确，进而依据对各待处理组件区域图像进行特征提取，依据提取出的直线相关信息以及第一预设拉花判定条件由多个待处理组件区域图像中确定可能存在拉花现象的初始拉花区域图像，进而将初始拉花区域图像输入至预先构建的组件分割神经网络模型中进行精确的组件分割，依据分割后所得组件区域的连通性确定其对应形状及面积，进而依据预先设置的第二预设拉花判定条件对各组件区域进行判定，确定目标连通区域图像，
通过两个不同方向，不同判定依据的拉花判定条件对存在拉花现象的区域进行由粗到细两种精度的判定，使得确定出的目标连通区域图像位置更加准确，进而使得依据目标连通区域图像最小外接矩形框确定的目标拉花区域定位框圈定的目标拉花区域范围更加精确。由于本发明实施例将图像特征提取方法、神经网络模型以及连通特征提取方法相结合，设置不同的拉花判定条件以递进的方式完成对拉花区域的精确定位，提升了全景地图中拉花区域定位的精度和准确性，进而使得运维人员可及时对拉花区域进行图像重采集和镶嵌修复。
[0121]
实施例三
[0122]
图11为本发明实施例三提供的一种全景地图拉花检测装置的结构示意图，该全景地图拉花检测装置包括：地图模型获取模块41，待处理图像确定模块42，初始图像确定模块43和拉花区域确定模块44。
[0123]
其中，地图模型获取模块41，用于获取光伏电站的全景地图，以及与全景地图对应的数字地表模型；待处理图像确定模块42，用于根据数字地表模型，由全景地图中分割确定至少一个待处理组件区域图像；初始图像确定模块43，用于对各待处理组件区域图像进行特征提取，依据提取的特征确定初始拉花区域图像；拉花区域确定模块44，用于将初始拉花区域图像输入至预先构建的组件分割神经网络模型中，根据输出的目标分割图像确定初始拉花区域图像中的目标拉花区域。
[0124]
本实施例的技术方案，在获取到全景地图以及与全景地图对应的数字地表模型后，首先依据数字地表模型对全景地图进行信息提取与分割，将其中包含光伏组件的待处理组件区域提取出来，进而通过对各待处理组件区域进行图像特征提取，明确其中可能存在拉花现象的初始拉花区域图像，结合预先训练好的组件分割神经网络模型对初始拉花区域图像进行组件分割，使得初始拉花区域图像可被更加细化的分割，进而依据分割所得的目标分割图像精确确定具有拉花现象的目标拉花区域，解决了现有全景电子地图拼接过程中难以对存在拉花现象的区域进行精准定位的问题，提升了全景地图中拉花区域定位的精度和准确性，使得运维人员可及时对拉花区域进行图像重采集和镶嵌修复，进而提升了依据全景地图进行组件故障检测的准确性。
[0125]
可选的，待处理图像确定模块42，包括：
[0126]
第一集合确定单元，用于根据所述数字地表模型中的高程信息与预设高程阈值，确定第一区域集合；
[0127]
待处理区域确定单元，用于根据第一区域集合中各第一区域的边界特征，将所述边界特征符合预设边界条件的第一区域确定为待处理组件区域；
[0128]
待处理图像确定单元，用于根据各所述待处理组件区域对应的坐标信息，由所述全景地图中提取与各所述待处理组件区域对应的待处理组件区域图像。
[0129]
可选的，初始图像确定模块43，包括：
[0130]
边缘图像确定单元，用于对各所述待处理组件区域图像进行灰度化和边缘化处理，确定待处理组件区域边缘图像；
[0131]
直线集合确定单元，用于提取各所述待处理组件区域边缘图像中的直线集合；
[0132]
初始图像确定单元，用于将满足第一预设拉花判定条件的直线集合对应的待处理组件区域图像确定为初始拉花区域图像。
[0133]
进一步地，初始图像确定单元，具体用于：
[0134]
针对每个直线集合，根据预设长度阈值将所述直线集合划分为长直线子集和短直线子集；
[0135]
若所述长直线子集对应的第一长度均值、所述短直线子集对应的第二长度均值、所述长直线子集对应的第一元素个数和所述短直线子集对应的第二元素个数均满足第一预设拉花判定条件，则将所述直线集合对应的待处理组件区域图像确定为初始拉花区域图像；
[0136]
其中，所述第一预设拉花判定条件为所述第一长度均值大于第一预设倍数的所述第二长度均值、所述第一元素个数大于第一数量阈值且所述第二元素个数大于第二数量阈值。
[0137]
可选的，拉花区域确定模块44，包括：
[0138]
目标图像确定单元，用于将所述初始拉花区域图像输入至所述预先构建的组件分割神经网络模型的下采样模块中，确定至少两个不同尺度的特征图像；将各所述特征图像输入至所述组件分割神经网络模型的上采样模块中，确定输出特征图像；将所述输出特征图像经损失层输出的结果确定为目标分割图像；
[0139]
拉花区域确定单元，用于根据连通性确定输出的目标分割图像中的连通区域图像集合；根据所述连通区域图像集合对应的平均图像面积、各连通区域图像的宽度、各连通区域图像的高度和第二预设拉花判定条件，确定至少一个目标连通区域图像；将最小外接于各所述目标连通区域图像的矩形框确定为目标拉花区域定位框，基于所述目标拉花区域定位框确定所述初始拉花区域图像中的目标拉花区域。
[0140]
其中，所述第二预设拉花判定条件为所述连通区域图像的面积等于所述连通区域图像的宽度与所述连通区域图像的高度之积，且所述连通区域图像的面积大于第二预设倍数的所述平均图像面积。
[0141]
进一步地，所述组件分割神经网络模型的构建，包括：
[0142]
获取组件分割模型训练集，所述组件分割模型训练集中包括真实图像集以及与真实图像集对应的标定图像集，所述标定图像集中包括与所述真实图像集对应的像素点类别信息；
[0143]
将所述真实图像集输入至初始组件分割神经网络模型中，得到所述初始组件分割神经网络模型输出的中间分割图像集；
[0144]
根据所述中间分割图像集与所述标定图像集构造损失函数；
[0145]
通过所述损失函数对所述初始组件分割神经网络模型进行训练，直到满足预设收敛条件，得到训练后的组件分割神经网络模型。
[0146]
其中，损失函数为logistics损失函数，可通过下式表示：
[0147][0148]
其中，i表示中间分割图像集中的中间分割图像个数，l表示损失值，y表示预测值，y’表示实际值，m表示类别数量。
[0149]
本发明实施例提供的全景地图拉花检测装置可执行本发明任意实施例提供的全景地图拉花检测方法，具备执行方法相应的功能模块和有益效果。
[0150]
实施例四
[0151]
图12为本发明实施例四提供的一种全景地图拉花检测设备的结构示意图。全景地图拉花检测设备50可为电子设备，旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0152]
如图12所示，全景地图拉花检测设备50包括至少一个处理器51，以及与至少一个处理器51通信连接的存储器，如只读存储器(rom)52、随机访问存储器(ram)53等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器51可以根据存储在只读存储器(rom)52中的计算机程序或者从存储单元58加载到随机访问存储器(ram)53中的计算机程序，来执行各种适当的动作和处理。在ram 53中，还可存储全景地图拉花检测设备50操作所需的各种程序和数据。处理器51、rom 52以及ram53通过总线54彼此相连。输入/输出(i/o)接口55也连接至总线54。
[0153]
全景地图拉花检测设备50中的多个部件连接至i/o接口55，包括：输入单元56，例如键盘、鼠标等；输出单元57，例如各种类型的显示器、扬声器等；存储单元58，例如磁盘、光盘等；以及通信单元59，例如网卡、调制解调器、无线通信收发机等。通信单元59允许全景地图拉花检测设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0154]
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理，例如全景地图拉花检测方法。
[0155]
在一些实施例中，全景地图拉花检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元58。在一些实施例中，计算机程序的部分或者全部可以经由rom 52和/或通信单元59而被载入和/或安装到全景地图拉花检测设备50上。当计算机程序加载到ram 53并由处理器51执行时，可以执行上文描述的全景地图拉花检测方法的一个或多个步骤。备选地，在其他实施例中，处理器51可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行全景地图拉花检测方法。
[0156]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0157]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0158]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0159]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0160]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0161]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0162]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0163]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。