基于卫星遥感影像的森林树种识别方法、装置及设备与流程

1.本技术涉及卫星遥感领域，尤其涉及一种基于卫星遥感影像的森林树种识别方法、装置及设备。


背景技术：

2.森林是地球上最重要的陆地生态系统，森林中的树种分布是森林资源监测的一个重要指标，森林树种的组成和分布与森林生物量、生物多样性、森林质量等因素密切相关，此外，森林防火、森林病虫害估计、森林变化信息提取等都依赖于高精度的林木树种识别。利用遥感技术的实行、动态和综合性对树种分布进行分析，是目前使用最广泛而且监测效率最高的一种手段。
3.基于遥感技术的树种识别技术，常常通过遥感平台获取的高分辨率影像所提供的光谱和空间信息对树种进行分类，如向量机（svm）和决策树等方法，但现有的树种识别方法的识别准确率低。


技术实现要素：

4.本技术的主要目的在于提供一种基于卫星遥感影像的森林树种识别方法、装置及设备，旨在解决现有的树种识别方法的识别准确率低的技术问题。
5.为实现上述目的，本技术提供一种基于卫星遥感影像的森林树种识别方法，包括：获取卫星遥感影像，所述卫星遥感影像中包含多个波段；对所述卫星遥感影像进行波段融合，获得多通道图像；根据所述多通道图像，获得图像训练集与标签图像；根据所述图像训练集和预训练的残差网络，获得预训练权重；根据所述预训练权重和生成器网络，获得预测结果；根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果。
6.可选地，所述对所述卫星遥感影像进行波段融合，获得多通道图像的步骤，包括：对所述卫星遥感影像的各个波段进行融合，获得真彩色影像和归一化植被指数；根据所述真彩色影像和归一化植被指数，获得所述多通道图像。
7.可选地，所述根据所述预训练权重和生成器网络，获得预测结果的步骤，包括：通过如下关系式，对所述生成器网络进行训练，以获得所述预测结果：其中，l
seg
是生成器损失函数，l
ce
是语义分割损失函数，l
adv
是对抗损失函数，l
semi
是半监督损失函数，λ
adv
和λ
semi
分别是l
adv
和l
semi
的权重。
8.可选地，所述半监督损失函数的表达式为：
其中，l
semi
是半监督损失函数，s是生成器网络，d是判别器网络，c是树种类别，(h,w)是位置坐标，t
semi
是控制自学过程敏感性的阈值，i是图像训练集的指标函数。
9.可选地，所述对抗损失函数的表达式为：其中，l
adv
是对抗损失函数，s是生成器网络，d是判别器网络，(h,w)是位置坐标。
10.可选地，所述语义分割损失函数的表达式为：其中，l
ce
是语义分割损失函数，s是生成器网络，c是树种类别，(h,w)是位置坐标。
11.可选地，所述根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果的步骤，包括：通过如下关系式，对所述判别器网络进行训练，以获得所述树种识别结果：其中，ld是判别器损失函数，s是生成器网络，d是判别器网络，d(s(xn))
(h,w)
是输入图像x在位置坐标(h,w)的置信度图。
12.可选地，所述判别器网络的最后一层为上采样层，用于将所述树种识别结果输出为与所述多通道图像格式相同的图像。
13.此外，为实现上述目的，本技术还提供一种基于卫星遥感影像的森林树种识别装置，包括：影像获取模块，用于获取卫星遥感影像，所述卫星遥感影像中包含多个波段；波段融合模块，用于对所述卫星遥感影像进行波段融合，获得多通道图像；图像训练集与标签图像获取模块，用于根据所述多通道图像，获得图像训练集与标签图像；权重获取模块，用于根据所述图像训练集和预训练的残差网络，获得预训练权重；预测结果获取模块，用于根据所述预训练权重和生成器网络，获得预测结果；树种识别结果获取模块，用于根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果。
14.此外，为实现上述目的，本技术还提供一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现上述的方法。
15.本技术所能实现的有益效果。
16.本技术实施例提出的一种基于卫星遥感影像的森林树种识别方法、装置及设备，通过获取卫星遥感影像，所述卫星遥感影像中包含多个波段；对所述卫星遥感影像进行波段融合，获得多通道图像；根据所述多通道图像，获得图像训练集与标签图像；根据所述图像训练集和预训练的残差网络，获得预训练权重；根据所述预训练权重和生成器网络，获得预测结果；根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果。即通过生
成多通道图像，有效充分地融合卫星遥感影像中不同的光谱信息，使得后续的树种识别更准确；通过预训练的残差网络增加相当的深度来提高后续树种识别的准确率；通过生成器和判别器的对抗学习，使得神经网络能够提取到更高的特征，提高细粒度，进而提升树种识别分类的准确率。
附图说明
17.图1为本技术实施例涉及的硬件运行环境的计算机设备结构示意图；图2为本技术实施例提供的一种基于卫星遥感影像的森林树种识别方法的流程示意图；图3为本技术实施例提供的一种基于卫星遥感影像的森林树种识别装置的功能模块示意图。
18.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
19.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
20.本技术实施例的主要解决方案是：提出的一种基于卫星遥感影像的森林树种识别方法、装置及设备，通过获取卫星遥感影像，所述卫星遥感影像中包含多个波段；对所述卫星遥感影像进行波段融合，获得多通道图像；根据所述多通道图像，获得图像训练集与标签图像；根据所述图像训练集和预训练的残差网络，获得预训练权重；根据所述预训练权重和生成器网络，获得预测结果；根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果。
21.现有技术中，森林是地球上最重要的陆地生态系统，森林中的树种分布是森林资源监测的一个重要指标，森林树种的组成和分布与森林生物量、生物多样性、森林质量等因素密切相关，此外，森林防火、森林病虫害估计、森林变化信息提取等都依赖于高精度的林木树种识别。利用遥感技术的实行、动态和综合性对树种分布进行分析，是目前使用最广泛而且监测效率最高的一种手段。
22.基于遥感技术的树种识别技术，常常通过遥感平台获取的高分辨率影像所提供的光谱和空间信息对树种进行分类，如向量机（svm）和决策树等方法，但现有的树种识别方法的识别准确率低。同时，传统树种分类方法需要大量的标签样本数据，人工打标的工作量大、时间长、经济成本高。
23.为此，本技术提供一种解决方案，通过生成多通道图像，有效地融合卫星遥感影像中不同的光谱信息，归一化植被指数使得森林特征更加突出，提升了后续树种识别的精准度；通过生成对抗网络的损失，指导神经网络提取更高的特征进而帮助细粒度的语义分割，使得树种识别信息更加准确；运用半监督学习方法，使得树种识别的过程中仅需要少量标签，减少了语义分割的标注量，进而减少了大量的时间和经济成本。
24.参照图1，图1为本技术实施例方案涉及的硬件运行环境的计算机设备结构示意图。
25.如图1所示，该计算机设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，
通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram）存储器，也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
26.本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
27.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
28.在图1所示的计算机设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明计算机设备中的处理器1001、存储器1005可以设置在计算机设备中，所述计算机设备通过处理器1001调用存储器1005中存储的基于卫星遥感影像的森林树种识别装置，并执行本技术实施例提供的基于卫星遥感影像的森林树种识别方法。
29.参照图2，基于前述实施例的硬件设备，本技术的实施例提供一种基于卫星遥感影像的森林树种识别方法，包括：s10：获取卫星遥感影像，所述卫星遥感影像中包含多个波段；在具体实施过程中，卫星遥感是指从地面到空间各种对地球、天体观测的综合性技术系统的总称，可从遥感技术平台获取到卫星遥感影像并进行信息的处理与分析。本技术技术方案主要通过高分二号（gf-2）卫星获取遥感影像，是空间分辨率优于1米的民用光学遥感卫星，也可以选用其他符合分辨率和通道信息要求的光学遥感卫星。
30.s20：对所述卫星遥感影像进行波段融合，获得多通道图像；在具体实施过程中，多通道图像是指通道数大于等于3的图像。高分二号卫星包含蓝色波段、绿色波段、红色波段和红外波段，将上述波段进行融合获得多通道图像，能够有效地融合不同的光谱信息，以进行树种识别。
31.作为一种可选的实施方式，所述对所述卫星遥感影像进行波段融合，获得多通道图像的步骤，包括：对所述卫星遥感影像的各个波段进行融合，获得真彩色影像和归一化植被指数；根据所述真彩色影像和归一化植被指数，获得所述多通道图像。
32.在具体实施过程中，将蓝色波段、绿色波段和红色波段进行融合，获得真彩色影像，真彩色影像是指在组成一幅彩色图像的每个像素值中，有r、g和b三个基色分量，每个基色分量直接决定显示设备的基色强度，能够真实反映实际地物的颜色特征。
33.通过如下关系式，计算归一化植被指数：ndvi=(b4-b3)/(b4 b3)其中，b3是指红色波段、b4是指红外波段，ndvi表示归一化植被指数，该指数用来反演作物的生态特征，在不同的生长期不同作物具有不同的光谱放射特征，可以区分不同的树种类型。将ndvi特征换成二值图像后，与真彩色影像结合形成多通道图像。
34.s30：根据所述多通道图像，获得图像训练集与标签图像；在具体实施过程中，将多通道图像剪裁为长宽均为512像素大小的图像，该大小兼
备检测速度和识别效果。选取少量图像标注树种信息标签作为标准化的标签图像；将剩余图像作为图像训练集便于后续的神经网络训练，图像训练集的图像数量远大于标签图像。使用少量的标签样本进行训练，节省了打标成本。
35.s40：根据所述图像训练集和预训练的残差网络，获得预训练权重；在具体实施过程中，残差网络是在简单网络的基础上，通过插入快捷链接将其转化为对应的残差版本，其不直接拟合目标，而是拟合残差；更容易优化，并且能够通过增加相当的深度来提高后续树种识别的准确率。本实施例是在imagnet上对残差网络resnet101进行预训练，resnet101网络包含了包括 4个卷积块，池化层和全连接层组成。
36.将图像训练集数输入resnet101网络获得预训练权重，预训练权重的输入是三通道的，通过修改预定义模型卷积层1的权重，只把预定义的三通道权重值赋给rgb通道，ndvi通道的使用凯明初始化。
37.s50：根据所述预训练权重和生成器网络，获得预测结果；在具体实施过程中，通过生成器网络对预训练权重进行训练，根据预训练权重对每个像素分类，进行物种识别，从而获得预测的结果。本实施例中使用deeplab-v3 网络作为生成器网络，通过如下关系式，获得预测结果：p=s（xn，wb）其中，xn表示输入多通道的图像，s表示参数为wb的deeplab-v3 网络。
38.作为一种可选的实施方式，所述根据所述预训练权重和生成器网络，获得预测结果的步骤，包括：通过如下关系式，对所述生成器网络进行训练，以获得所述预测结果：其中，l
seg
是生成器损失函数，l
ce
是语义分割损失函数，l
adv
是对抗损失函数，l
semi
是半监督损失函数，λ
adv
和λ
semi
分别是l
adv
和l
semi
的权重。
39.在具体实施过程中，通过构造生成器损失函数l
seg
来训练生成器网络，通过最小化语义分割、半监督、对抗学习等多个损失来联合优化。λ
adv
和λ
semi
这两个权重，用于最小化多任务损失函数。
40.作为一种可选的实施方式，所述半监督损失函数的表达式为：其中，l
semi
是半监督损失函数，s是生成器网络，d是判别器网络，c是树种类别，(h,w)是位置坐标，t
semi
是控制自学过程敏感性的阈值，i是图像训练集的指标函数。
41.在具体实施过程中，半监督学习方法（semi-supervised learning，ssl）是监督学习与无监督学习相结合的一种学习方法，使用大量的未标记数据和少量的标记数据，来进行模式识别工作，能够大量节省人工打标带来的时间和经济成本，同时又能够保证较高的准确性。利用少量的标签图像训练网络，使得图像训练集的信息更准确。
42.作为一种可选的实施方式，所述对抗损失函数的表达式为：其中，l
adv
是对抗损失函数，s是生成器网络，d是判别器网络，(h,w)是位置坐标。
43.在具体实施过程中，对抗指的是对抗生成网络（generative adversarial networks，gan），主要包括两部分，即生成器和判别器，生成器主要用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器，判别器则需要对接收的图片进行真假判别。在整个过程中，生成器让生成的图像更加真实，而判别器则去识别出图像的真假，这个过程相当于相互博弈，随着生成器和判别器不断地进行对抗，最终两个网络达到了一个动态均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像。本实施例通过对抗损失函数l
adv
进行对抗学习过程，通过生成对抗网络的损失，指导神经网络提取更高的特征进而帮助细粒度的语义分割，使得图像训练集的信息更真实，树种识别更加准确。
44.作为一种可选的实施方式，所述语义分割损失函数的表达式为：其中，l
ce
是语义分割损失函数，s是生成器网络，c是树种类别，(h,w)是位置坐标。
45.在具体实施过程中，语义分割是从像素级别理解图像，也即给图像中的每个像素分配一个类别标签。本实施例使用deeplab-v3 语义分割网络，是用于语义图像分割的具有空洞可分离卷积的编码器-解码器，它是在deeplab-v3上添加一个简单有效的decoder来细化分割结果，尤其是沿着目标对象边界的分割结果，以及采用空间金字塔池模块或编解码结构二合一的方式进行实现。通过语义分割损失函数l
ce
，比较语义分割网络的预测输出和标签结果进而优化网络，取得深度语义特征从而提取到高维的语义信息，提高树种类别的细粒度分类水平。
46.s60：根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果。
47.在具体实施过程中，判别器网络由5个4*4的卷积层和步幅为2的{64,128,256,512,1}通道组成，每一个卷积层的后面都有一个参数为0.2的激活层leaky-relu，将预测结果和标签图像一起输入判别器网络，进行上述对抗学习，不断优化图像训练集，使其更接近于真实图像分布即更接近标签图像，获得树种识别结果。
48.作为一种可选的实施方式，所述根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果的步骤，包括：通过如下关系式，对所述判别器网络进行训练，以获得所述树种识别结果：其中，ld是判别器损失函数，s是生成器网络，d是判别器网络，d(s(xn))
(h,w)
是输入图像x在位置坐标(h,w)的置信度图。
49.在具体实施过程中，通过构造判别器损失函数来训练判别器网络，使用空间交叉熵将损失最小化，判别器输出结果yn=0是指图像是从生成器网络中输出的， yn=0是指图像是从标签图像中提取的。
50.作为一种可选的实施方式，所述判别器网络的最后一层为上采样层，用于将所述树种识别结果输出为与所述多通道图像格式相同的图像。
51.在具体实施过程中，上采样可以让目标图像变成更高分辨率。本实施例判别器网络的最后一层为上采样层，将输出的树种识别结果图像缩放为与输入的多通道图像相同的
格式，即512像素大小。输出结果与输入图像的格式相同，实现了端到端的树种自动化识别，输出的识别结果无需再进行后续的格式转换处理。
52.应当理解的是，以上仅为举例说明，对本技术的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以基于需要进行设置，此处不做限制。
53.通过上述描述不难发现，本实施例是通过生成多通道图像，有效地融合卫星遥感影像中不同的光谱信息，归一化植被指数使得森林特征更加突出，提升了后续树种识别的精准度；通过生成对抗网络的损失，指导神经网络提取更高的特征进而帮助细粒度的语义分割，使得树种识别信息更加准确；运用半监督学习方法，使得树种识别的过程中仅需要少量标签，减少了语义分割的标注量，进而减少了大量的时间和经济成本。
54.参照图3，基于相同的发明思路，本技术的实施例还提供一种基于卫星遥感影像的森林树种识别装置，包括：影像获取模块，用于获取卫星遥感影像，所述卫星遥感影像中包含多个波段；波段融合模块，用于对所述卫星遥感影像进行波段融合，获得多通道图像；图像训练集与标签图像获取模块，用于根据所述多通道图像，获得图像训练集与标签图像；权重获取模块，用于根据所述图像训练集和预训练的残差网络，获得预训练权重；预测结果获取模块，用于根据所述预训练权重和生成器网络，获得预测结果；树种识别结果获取模块，用于根据所述预测结果、所述标签图像和判别器网络，获得树种识别结果。
55.需要说明的是，本实施例中基于卫星遥感影像的森林树种识别装置中各模块是与前述实施例中基于卫星遥感影像的森林树种识别方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述基于卫星遥感影像的森林树种识别方法的实施方式，这里不再赘述。
56.此外，在一种实施例中，本技术的实施例还提供一种计算机设备，所述设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
57.在一些实施例中，存储器可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
58.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
59.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（html，hyper text markup language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
60.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备
上执行。
61.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
62.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
63.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备（可以是手机，计算机，电视接收机，或者网络设备等）执行本技术各个实施例所述的方法。
64.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。