基于无人机的面积测量方法、设备及存储介质

1.本发明涉及无人机测绘领域，尤其涉及一种基于无人机的面积测量方法、设备及计算机可读存储介质。


背景技术：

2.近年来无人机和目标识别技术快速发展，社会信息化要求进一步提高，地面目标自动分类与面积测量成为了可能。目前，地面物体的面积测量主要有以下四种方法：1、在地表进行面积测量，这种方法需要借助人力完成，效率低下。2、由卫星遥感图像结合gis(geographic information system，地理信息系统)技术进行面积测量，这种方法图像分辨率不高，难以对较小的或者分散的目标进行面积测量。3、由飞行员驾驶固定翼飞机采集高空图像和高度信息进行面积测量，这种方法成本高，难以适应多样化的面积测量任务。4、由根据无人机采集到的空中图像结合高度信息生成dem(digital elevation model，数字高程模型)等信息，然后由人工标注，并进行面积计算。以上技术虽然可以测量给定目标的面积，但是要么不能实现自动的目标检测和面积计算，要么对于混杂环境下的分散小目标面积计算效果不好。


技术实现要素：

3.本发明的主要目的在于提供一种基于无人机的面积测量方法，旨在解决现有技术中面积较小的目标物体，面积测量不够精准的技术问题。
4.为实现上述目的，本发明提供一种基于无人机的面积测量方法，所述基于无人机的面积测量方法包括：
5.接收并保存无人机采集的地面图像和距离地面的高度，拼接所述地面图像得到全景图；
6.对所述全景图进行目标检测处理和语义分割处理，得到目标物体在所述全景图中的像素集合；
7.基于所述高度得到所述像素集合中每个像素对应的地面面积，累加所述地面面积得到所述目标物体的目标面积。
8.可选地，在所述接收并保存无人机采集的地面图像和距离地面的高度之前的步骤，还包括：
9.设置区域轮廓角点以划定测量区域，使所述无人机基于所述测量区域自动进行航线规划，以预设航线密度遍历采集所述测量区域。
10.可选地，所述全景图中的像素具有长、宽和通道信息三个维度，所述通道信息维度包括红、绿、蓝、高度、分类和地表面积六个通道。
11.可选地，所述对所述全景图进行目标检测处理的步骤，包括：
12.切分所述全景图得到子图像，对所述子图像进行目标检测，划分不同物体，得到不同物体的检测框；
13.向所述检测框内的像素的分类通道，填入对应物体的类型分类值；
14.向所述检测框外的像素的分类通道，填入代表背景的类型分类值。
15.可选地，所述对所述全景图进行语义分割处理的步骤，包括：
16.截取所述目标物体的所述类型分类值对应的检测框，对所述检测框中的像素进行语义分割；
17.向关联到所述目标物体的像素的分类通道，保持所述目标物体的所述类型分类值；
18.向未关联到所述目标物体的像素的分类通道，填入代表背景的类型分类值。
19.可选地，所述得到目标物体在所述全景图中的像素集合的步骤，包括：
20.根据所述目标物体的所述类型分类值，获取在所有所述子图像中对应的像素，得到所述目标物体在所述全景图中的像素集合。
21.可选地，所述基于所述高度得到所述像素集合中每个像素对应的地面面积的步骤，包括：
22.获取所述像素的边长和焦距，通过所述高度、所述边长和所述焦距，计算得到所述像素对应在所述目标物体上的地面边长；
23.基于所述地面边长计算得到所述像素对应的所述地表面积，将所述地表面积填入所述像素的所述地表面积通道。
24.可选地，所述累加所述地面面积得到所述目标物体的目标面积的步骤，包括：
25.累加所述像素集合中每个像素的所述地表面积通道中的地表面积，得到所述目标物体的目标面积。
26.此外，为实现上述目的，本发明还提供一种基于无人机的面积测量设备，所述基于无人机的面积测量设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于无人机的面积测量程序，所述基于无人机的面积测量程序被所述处理器执行时实现如上述的基于无人机的面积测量方法的步骤。
27.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于无人机的面积测量程序，所述基于无人机的面积测量程序被处理器执行时实现如上所述的基于无人机的面积测量方法的步骤。
28.本发明实施例提出的一种基于无人机的面积测量方法、设备及计算机可读存储介质，接收并保存无人机采集的地面图像和距离地面的高度，拼接所述地面图像得到全景图；对所述全景图进行目标检测处理和语义分割处理，得到目标物体在所述全景图中的像素集合；基于所述高度得到所述像素集合中每个像素对应的地面面积，累加所述地面面积得到所述目标物体的目标面积。使用者只需要在区域的外围设定标记点或区域轮廓角点，后续的工作应用目标检测技术和语义分割技术进行标注，然后自动计算面积，实现自动化小目标面积测量。而且，由于计算面积是采用逐像素累加的方式，因此增加了面积测算的灵活性，对于形状不规则的目标和分布的比较稀疏的目标等场景都能够适应，可以用于农田、山区、城市等复杂区域中的小目标面积测量，具有较强的适用性。从而，可以实现自动目标检测和面积测算，节省了大量的人力物力，实现了混杂环境下的小目标的自动检测和面积计算，提升了小目标面积测量的精度。
附图说明
29.图1是本发明实施例方案涉及的运行设备的结构示意图；
30.图2为本发明一种基于无人机的面积测量方法一实施例的流程示意图；
31.图3为本发明一种基于无人机的面积测量方法一实施例的距离示意图；
32.图4为本发明一种基于无人机的面积测量方法一实施例的任务应用示意图；
33.图5为本发明一种基于无人机的面积测量方法一实施例的全景图切分示意图；
34.图6为本发明一种基于无人机的面积测量方法一实施例的子图像目标检测示意图；
35.图7为本发明一种基于无人机的面积测量方法一实施例的子图像语义分割示意图；
36.图8为本发明一种基于无人机的面积测量方法一实施例的比例示意图。
37.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
38.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.参照图1，图1为本发明实施例方案涉及的运行设备的结构示意图。
40.如图1所示，该运行设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fldelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
41.本领域技术人员可以理解，图1中示出的结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
42.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于无人机的面积测量程序。
43.在图1所示的运行设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明运行设备中的处理器1001、存储器1005可以设置在运行设备中，所述运行设备通过处理器1001调用存储器1005中存储的基于无人机的面积测量程序，并执行以下操作：
44.接收并保存无人机采集的地面图像和距离地面的高度，拼接所述地面图像得到全景图；
45.对所述全景图进行目标检测处理和语义分割处理，得到目标物体在所述全景图中的像素集合；
46.基于所述高度得到所述像素集合中每个像素对应的地面面积，累加所述地面面积得到所述目标物体的目标面积。
47.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程
序，还执行以下操作：
48.在所述接收并保存无人机采集的地面图像和距离地面的高度之前的步骤，还包括：
49.设置区域轮廓角点以划定测量区域，使所述无人机基于所述测量区域自动进行航线规划，以预设航线密度遍历采集所述测量区域。
50.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程序，还执行以下操作：
51.所述全景图中的像素具有长、宽和通道信息三个维度，所述通道信息维度包括红、绿、蓝、高度、分类和地表面积六个通道。
52.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程序，还执行以下操作：
53.所述对所述全景图进行目标检测处理的步骤，包括：
54.切分所述全景图得到子图像，对所述子图像进行目标检测，划分不同物体，得到不同物体的检测框；
55.向所述检测框内的像素的分类通道，填入对应物体的类型分类值；
56.向所述检测框外的像素的分类通道，填入代表背景的类型分类值。
57.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程序，还执行以下操作：
58.所述对所述全景图进行语义分割处理的步骤，包括：
59.截取所述目标物体的所述类型分类值对应的检测框，对所述检测框中的像素进行语义分割；
60.向关联到所述目标物体的像素的分类通道，保持所述目标物体的所述类型分类值；
61.向未关联到所述目标物体的像素的分类通道，填入代表背景的类型分类值。
62.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程序，还执行以下操作：
63.所述得到目标物体在所述全景图中的像素集合的步骤，包括：
64.根据所述目标物体的所述类型分类值，获取在所有所述子图像中对应的像素，得到所述目标物体在所述全景图中的像素集合。
65.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程序，还执行以下操作：
66.所述基于所述高度得到所述像素集合中每个像素对应的地面面积的步骤，包括：
67.获取所述像素的边长和焦距，通过所述高度、所述边长和所述焦距，计算得到所述像素对应在所述目标物体上的地面边长；
68.基于所述地面边长计算得到所述像素对应的所述地表面积，将所述地表面积填入所述像素的所述地表面积通道。
69.进一步地，处理器1001可以调用存储器1005中存储的基于无人机的面积测量程序，还执行以下操作：
70.所述累加所述地面面积得到所述目标物体的目标面积的步骤，包括：
71.累加所述像素集合中每个像素的所述地表面积通道中的地表面积，得到所述目标物体的目标面积。
72.本发明实施例提供了一种基于无人机的面积测量方法，参照图2，图2为本发明一种基于无人机的面积测量方法第一实施例的流程示意图。
73.本实施例中，所述基于无人机的面积测量方法包括：
74.步骤s10：接收并保存无人机采集的地面图像和距离地面的高度，拼接所述地面图像得到全景图。
75.数据采集部分采用一套配备rgb摄像头和激光雷达，且具有路径规划能力的无人机进行数据采集。通过无人机上安装的rgb相机在行进路线中实时采集视频并通过rtsp(real time streaming protocol，实时流传输协议)实时传输视频流给服务器。同时，通过激光雷达采集视频对应帧的高度信息，服务器再对视频进行采样得到图像和其对应的高度信息。也就是说，无人机飞行过程中进行图像视频采集和无人机的高度信息采集，并以rtsp流的形式传输到服务器，并由服务器进行抽帧采样和保存。无人机飞行完毕后，在得到的所有视频中，根据匹配、重投影、缝合、融合等步骤拼接视频帧得到全景图。
76.步骤s20：对所述全景图进行目标检测处理和语义分割处理，得到目标物体在所述全景图中的像素集合。
77.在本实施例中，基于yolo算法对输入的图像进行目标检测，该算法可以以很快的速度对输入图片进行处理，并在输出图片上显示检测框、检测类别和概率。对目标检测的检测框内的区域图像进行截取，进行语义分割处理。语义分割指的是将图像中的每一个像素关联到一个类别标签上的过程，这些标签可能包括一个人、一辆车、一朵花、一件家具等等。在本实施例中，语义分割处理基于fcn(fully convolutional networks，全卷积神经网络)算法进行分割，从而得到更为精细的标注，可以使后续的面积计算更加精确。在对全景图进行目标检测处理和语义分割处理后，便得到目标物体在全景图中的像素集合。
78.步骤s30：基于所述高度得到所述像素集合中每个像素对应的地面面积，累加所述地面面积得到所述目标物体的目标面积。
79.如图3所示，虽然物体大小是固定的，但是由于物体的高度较高所以在画幅上会显得比较大，即近大远小。可以根据相似三角形的原理，基于激光雷达测量物体表面的高度来计算物体对应的地面面积，利用像素累加的方式得到目标物体的目标面积。
80.在本实施例中，接收并保存无人机采集的地面图像和距离地面的高度，拼接所述地面图像得到全景图；对所述全景图进行目标检测处理和语义分割处理，得到目标物体在所述全景图中的像素集合；基于所述高度得到所述像素集合中每个像素对应的地面面积，累加所述地面面积得到所述目标物体的目标面积。使用者只需要在区域的外围设定标记点或区域轮廓角点，后续的工作应用目标检测技术和语义分割技术进行标注，然后自动计算面积，实现自动化小目标面积测量。而且，由于计算面积是采用逐像素累加的方式，因此增加了面积测算的灵活性，对于形状不规则的目标和分布的比较稀疏的目标等场景都能够适应，可以用于农田、山区、城市等复杂区域中的小目标面积测量，具有较强的适用性。从而，可以实现自动目标检测和面积测算，节省了大量的人力物力，实现了混杂环境下的小目标的自动检测和面积计算，提升了小目标面积测量的精度。
81.在本实施例中，参照图4，任务区域确定后由无人机自主进行路径规划，飞行中采
集图像和距离信息，经过数据融合使其第三维包含高度通道、面积通道和分类通道，通过图像拼接与切分、目标检测、语义分割、面积计算等步骤，自动化的实现目标面积计算。因此，小目标面积测量可分为三步：首先是数据采集部分，采用一套配备激光雷达和rgb摄像头具有路径规划能力的无人机，通过路径规划设置飞行轨迹和速度，无人机的rgb摄像头和激光雷达采集图像和距离地面目标的高度并实时传输给服务器，服务器进行采样并保存采样得到图像和其对应的高度。飞行结束后，服务器通过图像拼接模块得到全景图，全景图为具有l(长)、w(宽)、m(更多信息)三个维度，其中m维又包含r(红)、g(绿)、b(蓝)、d(距离)、c(分类)、s(地表面积)六个通道的数据结构。然后是目标检测和语义分割部分，将全景图切分为固定的尺寸的子图像，每个子图像输入目标检测模块对图像进行目标检测，结果再输入语义分割模块，进行进一步细分。根据得到的结果对目标区域的像素的分类属性c进行赋值。最后是面积计算的部分，通过距离计算公式计算得到目标的对应像素的地表面积，并赋值给面积属性s。接着对分类属性c相同的像素的属性s进行累加求和，从而得到目标面积。
82.可选地，在所述接收并保存无人机采集的地面图像和距离地面的高度之前的步骤，还包括：
83.设置区域轮廓角点以划定测量区域，使所述无人机基于所述测量区域自动进行航线规划，以预设航线密度遍历采集所述测量区域。
84.规定无人机需要经过的测量区域的轮廓角点，然后由无人机根据自身的控制算法自动规划行进路线，无人机自行飞行，以一定的航线密度遍历所圈定的区域。
85.可选地，所述全景图中的像素具有长、宽和通道信息三个维度，所述通道信息维度包括红、绿、蓝、高度、分类和地表面积六个通道。
86.飞行结束后，服务器通过图像拼接模块得到全景图，全景图为具有l(长)、w(宽)、m(更多信息)三个维度，其中m维又包含r(红)、g(绿)、b(蓝)、d(距离)、c(分类)、s(地表面积)六个通道的数据结构。
87.可选地，所述对所述全景图进行目标检测处理的步骤，包括：
88.切分所述全景图得到子图像，对所述子图像进行目标检测，划分不同物体，得到不同物体的检测框；
89.向所述检测框内的像素的分类通道，填入对应物体的类型分类值；
90.向所述检测框外的像素的分类通道，填入代表背景的类型分类值。
91.由于全景图过大无法送入目标检测模型，需要将其裁剪成固定尺寸的子图像，然后送入目标检测模块。为了得到没有重合区域的全景图，需要在无人机飞行完毕后，在得到的所有视频中，先根据匹配、重投影、缝合、融合等步骤拼接视频帧得到全景图，再对全景图进行切分。先采样抽帧拼接成全景图再切分成子图像进行后续处理，而不是直接以采集到的视频帧进行后续处理的原因在于：由于拼接全景图的要求，相邻视频帧之间会有重叠区域，如果直接进行目标检测、语义分割、面积计算，那么会出现同一目标被重复计算面积的情况。而经过图像拼接再进行分割后的子图像则不存在重复计算面积的问题，因为图像拼接中有去重复画面的过程，拼出的是没有重复画面的全景图。
92.如图5所示，将全景图进行切分后，得到多个子图像，对子图像进行目标检测，从而划分出不同物体，得到不同物体的检测框。如图6所示，将检测框和检测框对应的类别分类值，填入检测内每个像素的分类通道c中，对检测外的像素的分类通道则填入表示背景的类
别分类值。
93.可选地，所述对所述全景图进行语义分割处理的步骤，包括：
94.截取所述目标物体的所述类型分类值对应的检测框，对所述检测框中的像素进行语义分割；
95.向关联到所述目标物体的像素的分类通道，保持所述目标物体的所述类型分类值；
96.向未关联到所述目标物体的像素的分类通道，填入代表背景的类型分类值。
97.如图7所示，对于检测框内的图像进行截取并输入到语义分割模块，根据语义分割模块的输出对检测框中的像素的分类通道c进行重新标注。主体像素(关联到目标物体的像素)的分类通道的类型分类值仍然不变，而其余像素的分类通道则填入表示背景的类型分类值，从而得到更为精细的像素类别标注。
98.可选地，所述得到目标物体在所述全景图中的像素集合的步骤，包括：
99.根据所述目标物体的所述类型分类值，获取在所有所述子图像中对应的像素，得到所述目标物体在所述全景图中的像素集合。
100.在如图7所述的子图像中，根据目标物体的类型分类值，集合目标物体对应的像素。在如图5所述的全景图中，集合目标物体对应的所有子图像的像素，得到像素集合。计算该像素集合中，所有像素的面积便得到了目标面积。
101.可选地，所述基于所述高度得到所述像素集合中每个像素对应的地面面积的步骤，包括：
102.获取所述像素的边长和焦距，通过所述高度、所述边长和所述焦距，计算得到所述像素对应在所述目标物体上的地面边长；
103.基于所述地面边长计算得到所述像素对应的所述地表面积，将所述地表面积填入所述像素的所述地表面积通道。
104.如图3所示，记单个像素边长为l
p
，单个像素在物体表面对应的边长为l，单个像素在地面对应的边长为lg，焦距为d，距离地面高度为hg，距离物体表面高度为h，像素在物体表面对应的面积为s，则像素在地面对应的面积sg，h和hg一般相差不大，在算法中认为二者相等。
105.如图8所示，根据相似三角形原理,得到单个像素在地面对应的边长的计算公式：
[0106][0107]
对于正方形像素，面积为边长的平方，所以得到像素在地面对应的面积的计算公式：
[0108]
，使用面积的计算公式，计算单个像素的对应的地面面积，并写入每个像素的属性通道s中。
[0109]
在上述公式中，对h(高度)准确的描述应为h(高度) d(焦距)，此处由于d相对于h非常的小，故以h替换h d的实际距离。
[0110]
可选地，所述累加所述地面面积得到所述目标物体的目标面积的步骤，包括：
[0111]
累加所述像素集合中每个像素的所述地表面积通道中的地表面积，得到所述目标物体的目标面积。
[0112]
在使用面积的计算公式计算单个像素的对应的地面面积，并写入每个像素的属性通道s中之后，对全景图中所有的分类属性属于测量目标分类的像素对应的地面面积进行累加，最后得到的就是目标区域中目标对象的目标面积。
[0113]
此外，本发明实施例还提供一种基于无人机的面积测量设备，所述基于无人机的面积测量设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于无人机的面积测量程序，所述基于无人机的面积测量程序被所述处理器执行时实现如上述的基于无人机的面积测量方法的步骤。
[0114]
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于无人机的面积测量程序，所述基于无人机的面积测量程序被处理器执行时实现如上所述的基于无人机的面积测量方法的步骤。
[0115]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0116]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0117]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0118]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。