遥感图像识别方法、装置、设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种遥感图像识别方法、装置、设备和计算机可读存储介质。


背景技术：

2.遥感影像地物复杂多样，同一地物的图上表现可能差异很大，不同地物的图上表现也可能比较相似，这给遥感影像的识别带来了巨大挑战。
3.在遥感影像上有些地物形状规则，边界清晰，易于分割，比如建筑、道路等，而有些生长类地物如林地、草地等或者受到生长类地物影响较大的地物如沙地、裸地、盐碱地等随着时间、季节等种种原因无论是形态还是稀疏程度都会发生较大变化，导致遥感影像中不同地物通常交错分布，遥感影像不同地物的边界模糊，遥感影像中的地物识别变得相对困难；当前遥感影像中不同地物识别，通过采用深度学习网络，而深度学习网络训练学习的样本是人工标注，通过深度学习网络遥感影像地物识别效果虽好，但是不能彻底做到每个像素准确区分，遥感图像识别准确率不高。


技术实现要素：

4.本技术提供一种遥感图像识别方法、装置、设备和计算机可读存储介质，旨在解决现有的遥感图像识别不可以针对像素点分析，识别准确性低的技术问题。
5.一方面，本技术提供一种遥感图像识别方法，所述方法包括：
6.获取待处理的初始遥感图像；
7.将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；
8.对所述初始遥感图像进行聚类分析，获得聚类遥感图像；
9.将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。
10.在本技术一些实施例中，所述将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图之前，所述方法包括：
11.获取海量遥感影像，将所述海量遥感影像中的各帧样本遥感图像添加标记作为图像训练样本，汇总所述图像训练样本形成图像训练样本集；
12.从所述图像训练样本集中抽取图像训练样本，通过所述图像训练样本对第一编码器和第一解码器进行迭代训练，获得预设的第一图像预测模型；
13.从所述图像训练样本集中抽取图像训练样本，通过所述图像训练样本对第二编码器和第二解码器进行迭代训练，获得预设的第二图像预测模型。
14.在本技术一些实施例中，所述将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物，包括：
15.将所述第一遥感预测图和所述第二遥感预测图进行融合膨胀处理，获得目标遥感
预测图；
16.将所述目标遥感预测图和所述聚类遥感图像进行融合识别，获得所述初始遥感图像中包含的目标地物。
17.在本技术一些实施例中，所述将所述第一遥感预测图和所述第二遥感预测图进行融合膨胀处理，获得目标遥感预测图，包括：
18.提取所述第一遥感预测图的第一特征数据，提取所述第二遥感预测图的第二特征数据，将所述第一特征数据和所述第二特征数据进行编码转化后相加，获得编码特征数据；
19.按照预设的最大值自变量函数处理所述编码特征数据，将处理后的编码特征数据进行融合，获得目标遥感预测图。
20.在本技术一些实施例中，所述按照预设的最大值自变量函数处理所述编码特征数据，将处理后的编码特征数据进行融合，获得目标遥感预测图，包括：
21.按照预设的最大值自变量函数处理所述编码特征数据，获取所述处理后的编码特征数据对应的分类标记；
22.将所述分类标记预设的标准结构元素与所述分类标记对应区域中的各个像素点进行比对；
23.若所述像素点与所述标准结构元素相同，则保留所述像素点；
24.若所述像素点与所述标准结构元素不同，则以所述像素点为中心按照所述标准结构元素膨胀处理，形成膨胀处理的像素点；
25.将保留的像素点和膨胀处理的像素点进行汇总，获得目标遥感预测图。
26.在本技术一些实施例中，所述将所述目标遥感预测图和所述聚类遥感图像进行融合识别，获得所述初始遥感图像中包含的目标地物，包括：
27.获取所述目标遥感预测图对应第一矩阵的第一下标，获取所述聚类遥感图像对应第二矩阵的第二下标；
28.按照所述第一下标和所述第二下标融合所述目标遥感预测图和所述聚类遥感图像，获得融合遥感图像，识别所述融合遥感图像，获得所述初始遥感图像中包含的目标地物。
29.在本技术一些实施例中，所述将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物，包括：
30.将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像进行融合，获得融合遥感图像；
31.获取所述融合遥感图像的像素点类型，及所述像素点类型的类型数量；
32.将所述像素点类型和所述类型数量输入至预设交并比计算公式，获得图像平均交并比；
33.获取所述图像平均交并比对应的地物分类，将所述地物分类对应的地物作为初始遥感图像中包含的目标地物。
34.在本技术一些实施例中，所述将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物，包括：
35.将所述第一遥感预测图、所述第二遥感预测图进行融合，获得目标遥感预测图；
36.将所述目标遥感预测图和所述聚类遥感图像进行融合，获得融合遥感图像，并计
算所述融合遥感图像中各像素点类型的图像交并比；
37.计算所有像素点类型对应的所述图像交并比的平均值，获得所述像素点类型对应的平均交并比，将所述平均交并比与前一次获得的平均交并比进行比较；
38.若所述平均交并比大于所述前一次获得的平均交并比，则将所述融合遥感图像与所述第一遥感预测图、所述第二遥感预测图进行融合，获得新的遥感预测图，将新的遥感预测图和上一次的聚类遥感图像进行融合，获得迭代的新的融合遥感图像；
39.获取迭代形成的新的融合遥感图像，将所述新的融合遥感图像的图像平均交并比对应的地物分类作为初始遥感图像中包含的目标地物。
40.另一方面，本技术还提供一种遥感图像识别装置，所述遥感图像识别装置包括：
41.图像获取模块，用于获取待处理的初始遥感图像；
42.输入预测模块，用于将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；
43.聚类分析模块，用于对所述初始遥感图像进行聚类分析，获得聚类遥感图像；
44.融合识别模块，用于将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。
45.另一方面，本技术还提供一种遥感图像识别设备，所述遥感图像识别设备包括：
46.一个或多个处理器；
47.存储器；以及
48.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的遥感图像识别方法。
49.另一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的遥感图像识别方法中的步骤。
50.本技术的技术方案中获取待处理的初始遥感图像；将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；对所述初始遥感图像进行聚类分析，获得聚类遥感图像；将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。本技术实施例中预设两个不同的图像预测模型，通过两个图像预测模型和图像聚类分析结合初始遥感图像，这样遥感图像分析时，既考虑到图像整体又考虑到图像中的各个像素点，使得遥感图像识别更加准确。
附图说明
51.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1是本技术实施例提供的遥感图像识别方法的场景示意图；
53.图2是本技术实施例中提供的遥感图像识别方法的一个实施例流程示意图；
54.图3是本技术实施例中提供的遥感图像识别方法的一个实施例中初始遥感图像的示意图；
55.图4为本技术实施例中遥感图像识别方法中预先构建第一图像预测模型和第二图像预测模型的一个实施例流程示意图；
56.图5为本技术实施例中提供的遥感图像识别方法中第一遥感预测图、第二遥感预测图和聚类遥感图像融合识别的流程示意图；
57.图6为本技术实施例中提供的遥感图像识别方法中遥感图像识别具体的流程示意图；
58.图7为本技术实施例中提供的遥感图像识别方法中独热编码转化的具体场景示意图；
59.图8为本技术实施例中提供的遥感图像识别方法中的融合遥感图像的分类示意图；
60.图9为本技术实施例中遥感图像识别方法中迭代识别的一个实施例流程示意图；
61.图10为本技术实施例中遥感图像识别方法中迭代识别的一个实施例具体场景示意图；
62.图11是本技术实施例中提供的遥感图像识别装置的一个实施例结构示意图；
63.图12是本技术实施例中提供的遥感图像识别设备的一个实施例结构示意图。
具体实施方式
64.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术包含的范围。
65.在本技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
66.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
67.本技术实施例中提供一种遥感图像识别方法、装置、设备及计算机可读存储介质，以下分别进行详细说明。
68.本技术实施例中的遥感图像识别方法应用于遥感图像识别装置，遥感图像识别装置设置于遥感图像识别设备，遥感图像识别设备中设置有一个或多个处理器、存储器，以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现遥感图像识别方法；遥感图像识别设备可以是终端，遥感图像识别设备还可以是一台服务器，或者多台服务器组成的服务集群。
69.如图1所示，图1为本技术实施例遥感图像识别方法的场景示意图，本技术实施例中遥感图像识别场景中包括遥感图像识别设备100，遥感图像识别设备100中集成有遥感图像识别装置，运行遥感图像识别对应的计算机可读存储介质，以执行遥感图像识别的步骤。
70.可以理解的是，图1所示遥感图像识别方法的具体应用场景中的遥感图像识别设备，或者遥感图像识别设备中包含的装置并不构成对本技术实施例的限制，即，遥感图像识别方法的具体应用场景中包含的设备数量、设备种类，或者各个设备中包含的装置数量、装置种类不影响本技术实施例中技术方案整体实现，均可以算作本技术实施例要求保护技术方案的等效替换或衍生。
71.本技术实施例中遥感图像识别设备100主要用于：获取待处理的初始遥感图像；将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；对所述初始遥感图像进行聚类分析，获得聚类遥感图像；将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物；本技术中对遥感图像分别采用聚类识别和神经网络识别，然后将聚类识别形成的聚类遥感图像与神经网络识别形成的预测图像进行融合识别，使得遥感图像中地物识别更加准确。
72.本技术实施例中该遥感图像识别设备100可以是独立的遥感图像识别设备，也可以是遥感图像识别设备组成的遥感图像识别设备网络或遥感图像识别设备集群，例如，本技术实施例中所描述的遥感图像识别设备100，其包括但不限于计算机、网络主机、单个网络遥感图像识别设备、多个网络遥感图像识别设备集或多个遥感图像识别设备构成的云遥感图像识别设备。其中，云遥感图像识别设备由基于云计算(cloud computing)的大量计算机或网络遥感图像识别设备构成。
73.本领域技术人员可以理解，图1中示出的应用环境，仅仅是本技术方案一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的遥感图像识别设备，或者遥感图像识别设备网络连接关系，例如图1中仅示出1个遥感图像识别设备，可以理解的，该遥感图像识别方法的具体应用场景还可以包括一个或多个其他遥感图像识别设备，具体此处不作限定；该遥感图像识别设备100中还可以包括存储器。
74.此外，本技术遥感图像识别方法的具体应用场景中遥感图像识别设备100可以设置显示装置，或者遥感图像识别设备100中不设置显示装置与外接的显示装置200通讯连接，显示装置200用于输出遥感图像识别设备中遥感图像识别方法执行的结果。遥感图像识别设备100可以访问后台数据库300(后台数据库可以是遥感图像识别设备的本地存储器中，后台数据库还可以设置在云端)，后台数据库300中保存有遥感图像识别相关的信息。
75.需要说明的是，图1所示的遥感图像识别方法的场景示意图仅仅是一个示例，本技术实施例描述的遥感图像识别方法的具体应用场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定。
76.基于上述遥感图像识别方法的具体应用场景，提出了遥感图像识别方法的实施例。
77.参照图2，图2为本技术实施例中遥感图像识别方法的一个实施例流程示意图，该遥感图像识别方法包括步骤201-204：
78.201，获取待处理的初始遥感图像。
79.本实施例中的遥感图像识别方法应用在遥感图像识别设备，遥感图像识别设备种类不作具体限定，例如，遥感图像识别设备可以是终端或者服务器。
80.遥感图像识别设备接收遥感图像识别请求，其中，接收遥感图像识别请求的触发方式不作具体限定，即，遥感图像识别请求可以是用户主动触发的，例如，用户在遥感图像识别设备选中：“编号xx号卫星设备回传的初始遥感图像”，触发识别指令，此外，遥感图像识别请求还可以是遥感图像识别设备自动触发的，例如，遥感图像识别设备检测到更新的遥感影像时，自动触发遥感图像识别请求。
81.遥感图像识别设备接收遥感图像识别请求之后，遥感图像识别设备获取遥感图像识别请求对应待处理的初始遥感图像，其中，初始遥感图像的数量和具体形式不作限定，参照图3，图3是本技术实施例中提供的遥感图像识别方法的一个实施例中初始遥感图像的示意图。
82.遥感图像识别设备处理初始遥感图像，分析初始遥感图像的各个像素点，以获得初始遥感图像中包含的地物边界，遥感图像识别设备分析地物边界获得初始遥感图像包含的目标地物，即，遥感图像识别设备结合现有的地物分类，目标地物包括：林地、草地、耕地、水域、道路、城镇建设用地、农村建设用地、工业用地、构筑物和裸地。
83.本实施例中遥感图像识别设备对初始遥感图像处理的方式不作具体限定，具体地，包括：
84.202，将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图。
85.遥感图像识别设备中预设有第一图像预测模型和第二图像预测模型，其中，第一图像预测模型和第二图像预测模型是用于提取初始遥感图像的特征信息的算法，可以理解的是，本实施例中第一图像预测模型和第二图像预测模型通过深度神经网络学习获得，第一图像预测模型和第二图像预测模型不相同，本实施例中第一图像预测模型和第二图像预测模型的具体种类不作限定。
86.遥感图像识别设备将初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，第一图像预测模型和第二图像预测模型分别按照各自的图像分析算法，对初始遥感图像进行分析和特征提取，获得第一遥感预测图和第二遥感预测图。
87.203，对所述初始遥感图像进行聚类分析，获得聚类遥感图像。
88.遥感图像识别设备对初始遥感图像进行聚类分析，获得聚类遥感图像，即，遥感图像识别设备将初始遥感图像中的各个像素点，按照各像素点的像素值进行聚类，删除部分干扰像素点，获得聚类遥感图像。
89.204，将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。
90.遥感图像识别设备将第一遥感预测图、第二遥感预测图进行一次融合，获得目标遥感图像，遥感图像识别设备将目标遥感图像和聚类遥感图像进行二次融合，获得融合遥感图像，遥感图像识别设备分析融合遥感图像获得初始遥感图像中包含的目标地物。
91.本实施例中遥感图像识别设备分析融合遥感图像获得初始遥感图像中包含的目标地物的具体实现方式不作限定，即，遥感图像识别设备可以对融合遥感图像的像素点分
析，确定初始遥感图像中包含的目标地物；具体地，包括：
92.(1)、将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像进行融合，获得融合遥感图像；
93.(2)、获取所述融合遥感图像的像素点类型，及所述像素点类型的类型数量；
94.(3)、将所述像素点类型和所述类型数量输入至预设交并比计算公式，获得图像平均交并比；
95.(4)、获取所述图像平均交并比对应的地物分类，将所述地物分类对应的地物作为初始遥感图像中包含的目标地物。
96.即，本实施例中遥感图像识别设备将第一遥感预测图、第二遥感预测图和聚类遥感图像进行融合，获得融合遥感图像；遥感图像识别设备获取融合遥感图像的像素点类型，及像素点类型的类型数量，像素点的类型包括林地像素点、草地像素点、耕地像素点、水域像素点、道路像素点、城镇建设用地像素点、农村建设用地像素点、工业用地像素点、构筑物像素点和裸地像素点；类型数量为10。
97.遥感图像识别设备将像素点类型和类型数量输入至预设交并比计算公式，获得图像平均交并比；其中，预设交并比计算公式为：
[0098][0099]
其中，miou表示为图像平均交并比，k是目标地物类型数量，pij是类型为i的像素被分为第j类的个数。
[0100]
遥感图像识别设备获取所述图像平均交并比对应的地物分类，遥感图像识别设备将地物分类对应的地物作为初始遥感图像中包含的目标地物。
[0101]
本实施例中引入图像平均交并比，通过图像平均交并比的引入可以使得地物识别更加准确，即，本实施例中基于图像训练样本集中给定的训练样本、验证样本、测试数据设计识别算法，提高遥感图像的识别精度；图像平均交并比(miou)用于体现本发明聚类算法(例如，k-means算法)的识别精度，其值为所有类别交并比的平均值，如下表，对应表格中的score，将计算获得的图像平均交并比与前一次的score进行比较，假设前一次的score为a1，当前次的score为a2，若a2》大于a1，则说明本发明k-means算法可以提高识别效果。
[0102]
例如，经过本发明实施例中的基于k-means聚类的语义分割后处理方法，可提高识别精度，具体的实验结果如下：
[0103]
名称miou(使用前)miou(使用后)score0.39400.3951农田0.57230.5717森林0.87820.8777草地0.00710.0081道路0.27250.2808城镇建设用地0.38690.3871农村建设用地0.46240.4618工业用地0.50790.5074
建设用地0.07780.0804水域0.77380.7748裸地0.00120.0012
[0104]
本实施例中遥感图像识别设备获取待处理的初始遥感图像；将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；对所述初始遥感图像进行聚类分析，获得聚类遥感图像；将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物，本技术实施例中预设两个不同的图像预测模型，通过两个图像预测模型和图像聚类分析结合初始遥感图像，这样遥感图像分析时，既考虑到图像整体又考虑到图像中的各个像素点，使得遥感图像识别更加准确。
[0105]
参照图4，图4为本技术实施例中遥感图像识别方法中预先构建第一图像预测模型和第二图像预测模型的一个实施例流程示意图。
[0106]
本实施例中给出了遥感图像识别设备预先构建第一图像预测模型和第二图像预测模型，包括步骤301-303：
[0107]
301，获取海量遥感影像，将所述海量遥感影像中的各帧样本遥感图像添加标记作为图像训练样本，汇总所述图像训练样本形成图像训练样本集。
[0108]
遥感图像识别设备获取海量遥感影像，遥感图像识别设备将海量遥感影像中的各帧样本遥感图像添加标记，添加标记的方式不作限定，即，添加标记可以是人工标记，例如，遥感图像识别设备输出样本遥感图像，遥感图像识别设备采集用户基于样本遥感图像输入的分类标记，遥感图像识别设备将分类标记和样本遥感图像进行关联；此外，还可以设置机器自动标记，例如，遥感图像识别设备中预先定义像素值对应绿色的像素点为草地等等，遥感图像识别设备按照定义的像素规则自动为样本遥感图像添加标记。
[0109]
本实施例中分类标记包括耕地、林地、草地、道路、城镇建设用地、农村建设用地、工业用地、构筑物、水域和裸地。
[0110]
遥感图像识别设备将标记后的样本遥感图像添加标记作为图像训练样本，汇总图像训练样本形成图像训练样本集，其中，图像训练样本集是指全部用于模型构建的图像，图像训练样本集中的图像训练样本可以按照具体的功能，划分为用于模型训练的图像、模型验证的图像和模型测试的图像。
[0111]
本实施例给出了图像训练样本集的具体场景，例如，遥感图像识别设备采样4万张以上的样本遥感图像及对应地物分类标记样本，影像大小为256*256像素。遥感图像识别设备将这些样本提取出：
[0112]
16017张训练样本(其中是每张tif图片对于一张png标注图片)；
[0113]
3000张验证样本(其中是每张tif图片对于一张png标注图片)；
[0114]
4366张测试样本(其中是每张tif图片对于一张png标注图片)；
[0115]
影像保存格式为tif文件，包括r、g、b、nir四个波段，训练测试集影像尺寸均为256*256像素。
[0116]
302，从所述图像训练样本集中抽取图像训练样本，通过所述图像训练样本对第一编码器和第一解码器进行迭代训练，获得预设的第一图像预测模型。
[0117]
303，从所述图像训练样本集中抽取图像训练样本，通过所述图像训练样本对第二
编码器和第二解码器进行迭代训练，获得预设的第二图像预测模型。
[0118]
遥感图像识别设备从图像训练样本集中抽取的图像训练样本，遥感图像识别设备通过图像训练样本对第一编码器和第一解码器进行迭代训练，获得训练预测模型，遥感图像识别设备通过验证样本和测试样本对训练预测模型进行检测验证，在训练预测模型检测通过时，遥感图像识别设备将训练获得的训练预测模型作为预设的第一图像预测模型。
[0119]
遥感图像识别设备从图像训练样本集中抽取图像训练样本，遥感图像识别设备通过图像训练样本对第二编码器和第二解码器进行迭代训练，获得训练预测模型，遥感图像识别设备通过验证样本和测试样本对训练预测模型进行检测验证，在训练预测模型检测通过时，遥感图像识别设备将训练获得的训练预测模型作为预设的第二图像预测模型。
[0120]
例如，遥感图像识别设备对训练数据进行训练，常用的训练模型有：unet、unet 、manet、linknet、fpn、pspnet、pan、deeplabv3、deeplabv3 ；本技术实施例中采用unet 做第一解码器、efficientnet-b7做第一编码器，以及unet 做第二解码器、resnet101做第二编码器训练得到第一图像预测模型和第二图像预测模型，标记为unetb7model1，unetrestmodel2。
[0121]
本实施例中遥感图像识别设备预先构建两个图像预测模型，这样通过不同的图像预测模型处理初始遥感图像，提取初始遥感图像不同的图像特征信息，获得两个不同的遥感预测图，进一步地将两个遥感预测图进行融合分析，使得遥感图像识别更加准确。
[0122]
参照图5，图5为本技术实施例中提供的遥感图像识别方法中第一遥感预测图、第二遥感预测图和聚类遥感图像融合识别的流程示意图。
[0123]
401，将所述第一遥感预测图和所述第二遥感预测图进行融合膨胀处理，获得目标遥感预测图。
[0124]
遥感图像识别设备将第一遥感预测图和第二遥感预测图进行融合膨胀处理，获得目标遥感预测图，具体地，包括：
[0125]
(1)、提取所述第一遥感预测图的第一特征数据，提取所述第二遥感预测图的第二特征数据，将所述第一特征数据和所述第二特征数据进行编码转化后相加，获得编码特征数据；
[0126]
(2)、按照预设的最大值自变量函数处理所述编码特征数据，将处理后的编码特征数据进行融合，获得目标遥感预测图。
[0127]
即，遥感图像识别设备提取第一遥感预测图的第一特征数据，遥感图像识别设备提取第二遥感预测图的第二特征数据，遥感图像识别设备将第一特征数据和第二特征数据进行编码转化后相加，获得编码特征数据。其中，遥感图像识别设备中的编码方式为独热编码(one-hot encoding)。独热编码即one-hot编码，又称一位有效编码，其方法是使用n位状态寄存器来对n个状态进行编码，每个状态都有他独立的寄存器位，并且在任意时候，其中只有一位有效。
[0128]
遥感图像识别设备中预设最大值自变量函数，其中，预设最大值自变量函数又叫argmax，是对函数求参数(集合)的函数。遥感图像识别设备按照预设的最大值自变量函数处理编码特征数据，遥感图像识别设备将处理后的编码特征数据进行融合，获得目标遥感预测图。具体地，包括：
[0129]
a、按照预设的最大值自变量函数处理所述编码特征数据，获取所述处理后的编码
特征数据对应的分类标记；
[0130]
b、将所述分类标记预设的标准结构元素与所述分类标记对应区域中的各个像素点进行比对；
[0131]
c、若所述像素点与所述标准结构元素相同，则保留所述像素点；
[0132]
d、若所述像素点与所述标准结构元素不同，则以所述像素点为中心按照所述标准结构元素膨胀处理，形成膨胀处理的像素点；
[0133]
e、将保留的像素点和膨胀处理的像素点进行汇总，获得目标遥感预测图。
[0134]
即，本实施例中遥感图像识别设备按照预设的最大值自变量函数处理编码特征数据，遥感图像识别设备获取处理后的编码特征数据对应的分类标记；遥感图像识别设备中预先设置了不同分类标记对应的标准结构元素，例如，分类标记为草地，对应的标准结构元素为绿色像素点。
[0135]
遥感图像识别设备将分类标记预设的标准结构元素与分类标记对应区域中的各个像素点进行比对；若像素点与标准结构元素相同，遥感图像识别设备则保留像素点；若像素点与标准结构元素不同，遥感图像识别设备则以像素点为中心按照标准结构元素膨胀处理，形成膨胀处理的像素点；遥感图像识别设备将保留的像素点和膨胀处理的像素点进行汇总，获得目标遥感预测图。
[0136]
402，将所述目标遥感预测图和所述聚类遥感图像进行融合识别，获得所述初始遥感图像中包含的目标地物。
[0137]
遥感图像识别设备将目标遥感预测图和聚类遥感图像进行融合识别，获得初始遥感图像中包含的目标地物，具体地，包括：
[0138]
(1)、获取所述目标遥感预测图对应第一矩阵的第一下标，获取所述聚类遥感图像对应第二矩阵的第二下标；
[0139]
(2)、按照所述第一下标和所述第二下标融合所述目标遥感预测图和所述聚类遥感图像，获得融合遥感图像，识别所述融合遥感图像，获得所述初始遥感图像中包含的目标地物。
[0140]
即，遥感图像识别设备获取目标遥感预测图对应第一矩阵的第一下标，获取聚类遥感图像对应第二矩阵的第二下标；遥感图像识别设备按照第一下标和第二下标融合目标遥感预测图和聚类遥感图像，获得融合遥感图像，遥感图像识别设备识别融合遥感图像，获得初始遥感图像中包含的目标地物。
[0141]
为了方便理解，本实施例中给出了遥感图像识别方法中地物识别的具体地场景和步骤：
[0142]
参照图6，图6为本技术实施例中提供的遥感图像识别方法中遥感图像识别具体的流程示意图；遥感图像识别设备将初始遥感图像输入至训练好的第一图像预测模型和第二图像预测模型，获得预测后的第一遥感预测图和第二遥感预测图。
[0143]
遥感图像识别设备按照独热编码(one-hot)进行特征的转换，如图7所示，图7为本技术实施例中提供的遥感图像识别方法中独热编码转化的具体场景示意图。图7中将数字1转为100，数字2转为010，数字3转为001，遥感图像识别设备将第一遥感预测图和第二遥感预测图对应的二维数组进行特征转换后相加，并利用argmax取最大值的下标，如5402300904最大值的下标为8(9是最大值并且是第8个位置)，所以数据argmax
(5402300904)＝8。
[0144]
图8为本技术实施例中提供的遥感图像识别方法中的融合遥感图像的分类示意图；融合遥感图像为：256*256的矩阵其中每个数字为一个分类，分别是1-10，将当前预测图标记为myc，遥感图像识别设备根据融合遥感图像上的分类，获得初始遥感图像中包含的目标地物，本实施例中以融合遥感图像中地物是路为例说明：
[0145]
步骤一：获取模型预测图中标记为道路(值为4)的位置从而得到道路的区域，标记为lu；
[0146]
步骤二：遥感图像识别设备对融合遥感图像中标记为道路的区域进行膨胀，其中，膨胀操作具体方法为：将图像中每一个点与标记为道路的标准结构元素进行比对，如果完全一致，则保留该点；如果不一致，以该点为中心点，利用标记为道路的标准结构元素为模板对该点进行扩充，可以采用opencv库中的dilate方法实现，区域lu膨胀后得到标记为pz。
[0147]
步骤三，对初始遥感图像进行像素聚类，遥感图像识别设备把颜色差相似的归为一类；由于每张遥感图像并非均包括所有的10个分类标记，如只包含道路、林地、水域这几类，在对初始遥感图像进行像素聚类前，遥感图像识别设备需要先获取预测图myc中不同值有哪些，确定当前预测图myc中包含多少类别，如预测图myc中只有1，2，4，6，8，9这6类，则依据该类别对初始遥感图像进行像素聚类，聚类结果标记为jl，jl的格式和myc的内容格式一样是256*256，但是里面的标记不是1-10，这里的内容为0，1，2，3，4，5，因为预测图中只有6类。
[0148]
步骤四，计算出对应的聚类遥感图像中的标签；
[0149]
pzi＝(pz＝＝4)，获取目标遥感预测图中等于4的矩阵的下标；
[0150]
jllulabel＝众数(jl[pzi])，获取聚类遥感图像中pzi位置的众数；
[0151]
jlli＝(jl＝＝jllulabel)，获取聚类遥感图像中值为jllu的label的矩阵下标；
[0152]
myc(pzi&jlli)＝4，将预测图中既是pzi的下标又是jlli的下标的位置设置为4；得到最终融合遥感图像图。
[0153]
步骤五，将所有的初始遥感图像进行步骤一到步骤四的操作后进行评测，评测指标为：图像平均交并比miou，图像平均交并比miou为每个类型的图像交并比的平均值，仅对算法效果进行评价，具体计算公式为：
[0154][0155]
其中，k是目标类型数，pij是真值类型为i的像素被分为第j类的个数。
[0156]
参照图9，图9为本技术实施例中遥感图像识别方法中迭代识别的一个实施例流程示意图。
[0157]
501，将所述第一遥感预测图、所述第二遥感预测图进行融合，获得目标遥感预测图。
[0158]
遥感图像识别设备将第一遥感预测图、第二遥感预测图进行融合，获得目标遥感预测图。
[0159]
502，将所述目标遥感预测图和所述聚类遥感图像进行融合，获得融合遥感图像，并计算所述融合遥感图像中各像素点类型的图像交并比。
[0160]
遥感图像识别设备将目标遥感预测图和聚类遥感图像进行融合，获得融合遥感图像，遥感图像识别设备计算融合遥感图像中各像素点类型的图像交并比。
[0161]
503，计算所有像素点类型对应的所述图像交并比的平均值，获得所有所述像素点类型对应的平均交并比，将所述平均交并比与前一次获得的平均交并比进行比较。
[0162]
遥感图像识别设备计算所有像素点类型对应的图像交并比的平均值，获得所有所述像素点类型对应的平均交并比，即，将每一像素点类型对应的图像交并比求和之后求平均值，如第1次，平均交并比为0.4014，其中耕地、林地、草地、道路、城镇建设用地、农村建设用地、工业用地、构筑物、水域和裸地的图像交并比分别为：0.5822、0.8815、0.0059、0.2881、0.3978、0.4656、0.5195、0.0868、0.7848、0.0016和0.5822遥感图像识别设备将平均交并比与前一次获得的平均交并比进行比较，若平均交并比比前一次获得的平均交并比大，则说明精度提高，若平均交并比比前一次获得的平均交并比小，则输出提示。
[0163]
504，若所述平均交并比大于所述前一次获得的平均交并比，则将所述融合遥感图像与所述第一遥感预测图、所述第二遥感预测图进行融合，获得新的遥感预测图，将新的遥感预测图和上一次的聚类遥感图像进行融合，获得迭代的新的融合遥感图像；
[0164]
若平均交并比大于前一次获得的平均交并比，遥感图像识别设备是将融合遥感图像迭代至前述步骤，与第一遥感预测图、第二遥感预测图、融合遥感图像进行one-hot、argmax操作，获得新的遥感预测图，遥感图像识别设备将新的遥感预测图与原始图像聚类图进行融合，获得此次迭代的新的融合遥感图像；如图10所示，图10为本技术实施例中遥感图像识别方法中迭代识别的一个实施例具体场景示意图；图10中将遥感图像识别设备将融合遥感图像作为新的聚类遥感图像进行迭代计算图像平均交并比，使得遥感图像的识别更加准确。
[0165]
505，获取迭代形成的新的融合遥感图像，将所述新的融合遥感图像的图像平均交并比对应的地物分类作为初始遥感图像中包含的目标地物。
[0166]
遥感图像识别设备获取图像平均交并比对应的地物分类，遥感图像识别设备将地物分类对应的地物作为初始遥感图像中包含的目标地物。
[0167]
例如，本实施例中遥感图像识别设备将新的融合遥感图像与第一遥感预测图、第二遥感预测图、聚类遥感图像进行onehot、argmax操作获取预测图像，再执行膨胀、对原始图像进行聚类，以及后续的融合、交并比计算等过程；实验过程中，一般迭代次数为4次左右时，其识别精度和计算时间均为可接受范围。后续表格中迭代了60次，score值一直在增加，但在实际应用中，考虑到可接受的数据运算时间，一般不会迭代至60次。本实施例中可以通过多次迭代，使得目标地物识别根据准确。
[0168]
为了方便理解，本实施例中给出了图像平均交并比和迭代次数的关系，结果表明，一直重复图像平均交并比miou会一直更加准确。
[0169]
次数第1次第2次第3次第4次第5次 第60次miou0.40140.40170.40180.40210.4022
…
0.4028农田0.58220.58160.58140.58130.5811
…
0.5805森林0.88150.88120.88110.88100.8810
…
0.8807草地0.00590.00610.00630.00650.0067
…
0.0083道路0.28810.28920.28880.28970.2901
…
0.2896
城镇建设用地0.39780.39820.39830.39870.3989
…
0.3996农村建设用地0.46560.46570.46570.46580.4658
…
0.4662工业用地0.51950.51950.51960.51980.5198
…
0.5191建设用地0.08680.08850.08960.09070.0913
…
0.0953水域0.78480.78540.78560.78580.7861
…
0.789裸地0.00160.00180.00160.00160.0015
…
0.0014
[0170]
如图11所示，图11是遥感图像识别装置的一个实施例结构示意图。
[0171]
为了更好实施本技术实施例中遥感图像识别方法，在遥感图像识别方法基础之上，本技术实施例中还提供一种遥感图像识别装置，所述遥感图像识别装置包括：
[0172]
图像获取模块601，用于获取待处理的初始遥感图像；
[0173]
输入预测模块602，用于将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；
[0174]
聚类分析模块603，用于对所述初始遥感图像进行聚类分析，获得聚类遥感图像；
[0175]
融合识别模块604，用于将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。
[0176]
在本技术一些实施例中，所述的遥感图像识别装置，包括：
[0177]
获取海量遥感影像，将所述海量遥感影像中的各帧样本遥感图像添加标记作为图像训练样本，汇总所述图像训练样本形成图像训练样本集；
[0178]
从所述图像训练样本集中抽取图像训练样本，通过所述图像训练样本对第一编码器和第一解码器进行迭代训练，获得预设的第一图像预测模型；
[0179]
从所述图像训练样本集中抽取图像训练样本，通过所述图像训练样本对第二编码器和第二解码器进行迭代训练，获得预设的第二图像预测模型。
[0180]
在本技术一些实施例中，所述的融合识别模块604，包括：
[0181]
将所述第一遥感预测图和所述第二遥感预测图进行融合膨胀处理，获得目标遥感预测图；
[0182]
将所述目标遥感预测图和所述聚类遥感图像进行融合识别，获得所述初始遥感图像中包含的目标地物。
[0183]
在本技术一些实施例中，所述的融合识别模块604，执行所述将所述第一遥感预测图和所述第二遥感预测图进行融合膨胀处理，获得目标遥感预测图，包括：
[0184]
提取所述第一遥感预测图的第一特征数据，提取所述第二遥感预测图的第二特征数据，将所述第一特征数据和所述第二特征数据进行编码转化后相加，获得编码特征数据；
[0185]
按照预设的最大值自变量函数处理所述编码特征数据，将处理后的编码特征数据进行融合，获得目标遥感预测图。
[0186]
在本技术一些实施例中，所述的融合识别模块604，执行所述按照预设的最大值自变量函数处理所述编码特征数据，将处理后的编码特征数据进行融合，获得目标遥感预测图，包括：
[0187]
按照预设的最大值自变量函数处理所述编码特征数据，获取所述处理后的编码特征数据对应的分类标记；
[0188]
将所述分类标记预设的标准结构元素与所述分类标记对应区域中的各个像素点
进行比对；
[0189]
若所述像素点与所述标准结构元素相同，则保留所述像素点；
[0190]
若所述像素点与所述标准结构元素不同，则以所述像素点为中心按照所述标准结构元素膨胀处理，形成膨胀处理的像素点；
[0191]
将保留的像素点和膨胀处理的像素点进行汇总，获得目标遥感预测图。
[0192]
在本技术一些实施例中，所述的融合识别模块604，执行所述将所述目标遥感预测图和所述聚类遥感图像进行融合识别，获得所述初始遥感图像中包含的目标地物，包括：
[0193]
获取所述目标遥感预测图对应第一矩阵的第一下标，获取所述聚类遥感图像对应第二矩阵的第二下标；
[0194]
按照所述第一下标和所述第二下标融合所述目标遥感预测图和所述聚类遥感图像，获得融合遥感图像，识别所述融合遥感图像，获得所述初始遥感图像中包含的目标地物。
[0195]
在本技术一些实施例中，所述的融合识别模块604，包括：
[0196]
将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像进行融合，获得融合遥感图像；
[0197]
获取所述融合遥感图像的像素点类型，及所述像素点类型的类型数量；
[0198]
将所述像素点类型和所述类型数量输入至预设交并比计算公式，获得图像平均交并比；
[0199]
获取所述图像平均交并比对应的地物分类，将所述地物分类对应的地物作为初始遥感图像中包含的目标地物。
[0200]
在本技术一些实施例中，所述的融合识别模块604，包括：
[0201]
将所述第一遥感预测图、所述第二遥感预测图进行融合，获得目标遥感预测图；
[0202]
将所述目标遥感预测图和所述聚类遥感图像进行融合，获得融合遥感图像，并计算所述融合遥感图像中各像素点类型的图像交并比；
[0203]
计算所有像素点类型对应的所述图像交并比的平均值，获得所述像素点类型对应的平均交并比，将所述平均交并比与前一次获得的平均交并比进行比较；
[0204]
若所述平均交并比平均值大于所述前一次获得的平均交并比，则将所述融合遥感图像与所述第一遥感预测图、所述第二遥感预测图进行融合，获得新的遥感预测图，将新的遥感预测图和上一次的聚类遥感图像进行融合，获得迭代的新的融合遥感图像；
[0205]
获取迭代形成的新的融合遥感图像，将所述新的融合遥感图像的图像平均交并比对应的地物分类作为初始遥感图像中包含的目标地物。
[0206]
本实施例中遥感图像识别装置获取待处理的初始遥感图像；将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；对所述初始遥感图像进行聚类分析，获得聚类遥感图像；将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。本技术实施例中遥感图像识别装置预设两个不同的图像预测模型，通过两个图像预测模型和图像聚类分析结合初始遥感图像，这样遥感图像分析时，既考虑到图像整体又考虑到图像中的各个像素点，使得遥感图像识别更加准确。
[0207]
本技术实施例还提供一种遥感图像识别设备，如图12所示，图12是本技术实施例
中提供的遥感图像识别设备的一个实施例结构示意图。
[0208]
遥感图像识别设备集成了本技术实施例所提供的任一种遥感图像识别装置，所述遥感图像识别设备包括：
[0209]
一个或多个处理器；
[0210]
存储器；以及
[0211]
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述遥感图像识别方法实施例中任一实施例中所述的遥感图像识别方法中的步骤。
[0212]
具体来讲：遥感图像识别设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图12中示出的遥感图像识别设备结构并不构成对遥感图像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0213]
处理器701是该遥感图像识别设备的控制中心，利用各种接口和线路连接整个遥感图像识别设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行遥感图像识别设备的各种功能和处理数据，从而对遥感图像识别设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
[0214]
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据遥感图像识别设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
[0215]
遥感图像识别设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0216]
该遥感图像识别设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息。
[0217]
尽管未示出，遥感图像识别设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，遥感图像识别设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：
[0218]
获取待处理的初始遥感图像；
[0219]
将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；
[0220]
对所述初始遥感图像进行聚类分析，获得聚类遥感图像；
[0221]
将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。
[0222]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0223]
为此，本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种遥感图像识别方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
[0224]
获取待处理的初始遥感图像；
[0225]
将所述初始遥感图像输入预设的第一图像预测模型和预设的第二图像预测模型，获得第一遥感预测图和第二遥感预测图；
[0226]
对所述初始遥感图像进行聚类分析，获得聚类遥感图像；
[0227]
将所述第一遥感预测图、所述第二遥感预测图和所述聚类遥感图像融合识别，获得所述初始遥感图像中包含的目标地物。
[0228]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
[0229]
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
[0230]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0231]
以上对本技术实施例所提供的一种遥感图像识别方法进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。