一种图像预测优化处理方法及装置与流程

1.本发明主要涉及图像处理技术领域，具体涉及一种图像预测优化处理方法及装置。


背景技术：

2.卷积神经网络是一种广泛使用的深度学习模型，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，包含卷积层和池化层。卷积神经网络在计算机视觉领域的许多研究中都取得了出色的性能，例如图像分类、人脸识别和行人检测等。近年来，基于深度学习的方法已应用于高光谱图像分类、大规模土地覆盖分类、场景分类和遥感领域的目标检测等，其性能优于传统方法。
3.参考现有科学文献中利用深度学习的分类研究，卷积神经网络是将图像分割成一定尺寸进行逐像素图像分类预测，并进行分类结果的拼接，最终结果中会产生明显的拼接痕迹，导致分类结果有误。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供一种图像预测优化处理方法及装置。
5.本发明解决上述技术问题的技术方案如下：一种图像预测优化处理方法，包括如下步骤：
6.导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；
7.导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
8.将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；
9.将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
10.基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络，所述卷积神经网络包括多个深度学习模型；
11.通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；
12.对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
13.对多种分类结果进行融合处理，得到融合的分类结果；
14.对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
15.本发明的有益效果是：通过扩充的训练样本对卷积神经网络进行训练，通过训练后的卷积神经网络进行影像预测分类，并能够对多种分类结果进行融合处理，融合的分类结果更为准确和全面，再对融合的分类结果进行扩展裁剪处理，能够消除明显的拼接痕迹。
16.在上述技术方案的基础上，本发明还可以做如下改进。
17.进一步，所述卷积神经网络包括多个深度学习模型，所述多个深度学习模型为segnet模型、pspnet模型、raunet模型和deeplabv3plus模型；
18.通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络，具体为：
19.通过扩充后的训练样本集合按照设置的迭代次数分别对segnet模型、pspnet模型、raunet模型和deeplabv3plus模型进行多分类训练和单分类训练，得到训练后的卷积神经网络。
20.采用上述进一步方案的有益效果是：卷积神经网络由多个深度学习模型组合而成，解决了目前单个模型进行预测分类时存在局限性的问题，去除了部分区域分类结果存在差异的问题。
21.本发明解决上述技术问题的另一技术方案如下：一种图像预测优化处理装置，包括：
22.导入模块，用于导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
23.预处理模块，用于将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
24.模型优化模块，用于基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；
25.训练模块，用于通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
26.分类优化模块，用于对多种分类结果进行融合处理，得到融合的分类结果；对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
27.本发明解决上述技术问题的另一技术方案如下：一种图像预测优化处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的图像预测优化处理方法。
附图说明
28.图1为本发明实施例提供的图像预测优化处理方法的流程示意图；
29.图2为本发明实施例提供的图像预测优化处理方法的另一流程示意图；
30.图3为本发明实施例提供的图像预测优化处理装置的功能模块框图。
具体实施方式
31.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
32.实施例1：
33.如图1所示，一种图像预测优化处理方法，包括如下步骤：
34.导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；标签的制作依据无人机影像与实测数据来制作深度学习语义标签。
35.导入多个无人机影像，并分别对多个所述无人机影像进行预处理；选取pix4d mapper软件、arcgis10.5软件、envi 5.4软件对无人机影像进行预处理。
36.将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合。
37.将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；为增加样本数量，对影像与标签数据分割成256*256、128*128像素大小，并在分割过程中对影像及样本数据进行翻转、通道互换、随机旋转等增强处理。
38.基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；在卷积神经网络的各个模型中添加条件随机场，将网络输出概率图作为一元势函数的输入，将原始的无人机影像作为二元势函数的输入，通过最小化散度距离的平均场近似估计方法，迭代产生分割结果；模型优化器算法设置为adam，初始学习率设置为0.001，动量参数设置为0.8；损失函数设置为categorical_crossentropy loss。
39.通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；
40.对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
41.对多种分类结果进行融合处理，得到融合的分类结果；
42.对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
43.上述实施例中，通过扩充的训练样本对卷积神经网络进行训练，通过训练后的卷积神经网络进行影像预测分类，并能够对多种分类结果进行融合处理，融合的分类结果更为准确和全面，再对融合的分类结果进行扩展裁剪处理，能够消除明显的拼接痕迹。
44.具体地，所述卷积神经网络包括多个深度学习模型，所述多个深度学习模型包括segnet模型、pspnet模型、raunet模型和deeplabv3plus模型；
45.通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络，具体为：
46.通过扩充后的训练样本集合按照设置的迭代次数分别对segnet模型、pspnet模型、raunet模型和deeplabv3plus模型进行多分类训练和单分类训练，得到训练后的卷积神经网络。
47.为提高对无人机影像的分类精度，分别对segnet、pspnet、raunet和deeplabv3plus四种模型进行多分类与单分类训练。为达到稳定的训练精度，对每种方案进行50次迭代训练。
48.具体地，对训练后的卷积神经网络进行影像预测分类，得到多种分类结果：选取迭代训练中训练精度最高的权重记录分别对单分类与多分类方案进行分类预测；
49.上述实施例中，卷积神经网络由多个深度学习模型组合而成，解决了目前单个模型进行预测分类时存在局限性的问题，去除了部分区域分类结果存在差异的问题。
50.具体地，所述对多种分类结果进行融合处理，得到融合的分类结果的过程包括：
51.根据软投票法预测各个深度学习模型输出分类结果对应的概率，从计算得到的各
个概率中选择最大概率对应的分类结果；
52.根据硬投票法预测各个深度学习模型输出类别最多对应的分类结果；
53.根据最优结果融合法对最大概率对应的分类结果和类别最多对应的分类结果进行融合，得到融合的分类结果。
54.将segnet、pspnet、raunet和deeplabv3plus四种卷积神经网络的分类结果进行软投票、硬投票与最优结果融合三种方式进行整合。基于概率最大的软投票法是指将四种模型中每个像素的概率进行平均，形成新的类别概率，再采用softmax层以最大概率对应的类别输出最终结果，每个类别的预测概率如公式(1)—(2)所示；基于类别最多的硬投票法是将四种深度学习模型预测验证影像的结果，逐像素地按照所设比例进行计算，计算过程如公式(3)所示；基于最优结果的融合法是以每类别最高识别精度的模型的结果融合成最终结果计算过程如公式(4)所示。
55.具体地，所述根据软投票法预测各个深度学习模型输出分类结果对应的概率，从计算得到的各个概率中选择最大概率对应的分类结果，具体为：
56.通过式(1)预测各个深度学习模型输出分类结果对应的概率，所述式(1)为：
[0057][0058]
其中，p
n1
为预测单分类的模型mn输出分类结果n的概率，p
i2
为另外三个单分类的模型mi输出分类结果n的概率，为另外三个单分类模型mi中每个无人机影像像素的概率进行平均值计算；
[0059]
通过式(2)从计算得到的各个概率中选择最大概率对应的分类结果，所述式(2)为：
[0060]
p＝max{p1,p2,p3……
pn}，
[0061]
其中，p为最大概率对应的分类结果，并采用softmax层以最大概率对应的类别输出最终结果。
[0062]
具体地，所述根据硬投票法预测各个深度学习模型输出类别最多对应的分类结果，具体为：
[0063]
通过式(3)预测各个深度学习模型输出类别最多对应的分类结果，所述式(3)为：
[0064]
y＝majority{y1,y2,y3……
ym}，
[0065]
其中，ym为第m种模型预测的分类结果。
[0066]
具体地，所述根据最优结果融合法对最大概率对应的分类结果和类别最多对应的分类结果进行融合，得到融合的分类结果，具体为：
[0067]
通过式(4)对最大概率对应的分类结果和类别最多对应的分类结果进行融合，所述式(4)为：
[0068][0069]
其中，xn为第n种分类结果，为多种分类结果进行叠加。
[0070]
具体地，所述对预测的分类结果进行扩展裁剪处理，得到整幅遥感影像，具体为：
[0071]
通过ii＝(m1,m2,m3,m4)将扩展裁剪处理分为四个处理阶段，即计算扩展裁剪时的四个顶点的坐标m1、m2、m3和m4；
[0072]
设(xi,yi)为预测无人机影像时的随机点坐标，img_size为预测时的步长，
[0073]
点m1的计算过程为m1＝(xi img_size/4,yi img_size/4)，
[0074]
点m2的计算过程为m2＝(xi 3
·
img_size/4,yi img_size/4)，
[0075]
点m3的计算过程为m3＝(xi 3
·
img_size/4,yi 3
·
img_size/4)
[0076]
点m4的计算过程为m4＝(xi img_size/4,yi 3
·
img_size/4)，
[0077]
并重复执行m1至m4，直至得到整幅遥感影像。
[0078]
下面比较一下优化前与优化后的分类结果，优化前公式如下：
[0079]
通过i＝(p1,p2,p3,p4)将无人机影像预测过程分为四个处理阶段，即计算预测影像的四个顶点的坐标p1、p2、p3和p4；
[0080]
点p1的计算过程为p1＝(xi,yi)，即：
[0081]
点p2的计算过程为p2＝(xi img_size,yi)，即：
[0082]
点p3的计算过程为p3＝(xi img_size,yi img_size)，即：
[0083]
点p4的计算过程为p4＝(xi,yi img_size)，即：
[0084]
通过比较优化前与优化后的分类结果，优化后的分类结果选取的是预测结果中心部分的结果，从而能够消除明显的拼接痕迹。
[0085]
下面举实例说明上述过程：
[0086]
以模型输入影像大小为256*256为例，
①
模型预测遥感影像时，以步长为128的方式剪裁遥感影像成大小为128*128的影像；
②
然后通过镜像的操作将大小为128*128的影像扩展至大小为256*256的影像；
③
模型对大小为256*256的影像进行预测；
④
再将预测后的大小为256*256的影像按中间部分剪裁为大小为128*128的影像，最后按
①
的相应位置拼接再模型预测影像上；
⑤
最后重复
①‑④
，直至模型预测完整幅遥感影像。
[0087]
具体地，得到整幅遥感影像后，还包括步骤：
[0088]
构建评价指标，通过所述评价指标检验所述融合的分类结果。
[0089]
下面具体说明构建评价指标的过程：
[0090]
对以上分类结果建立混淆矩阵，采用f1分数与kappa来验证模型对植被的分类情况，计算过程如式(4)—(6)所示，
[0091][0092][0093][0094]
其中，p
ab
是指实际类别为a预测类别为b的数量，p
ba
是指实际类别为b预测类别为a的数量，p
bb
是指实际类别为b预测类别也为b的数量。
[0095]
选用t检验与mcnemar卡方检验评估模型间的显著性水平，t检验公式如式(7)—(8)所示，
[0096][0097]
其中，po是每一类正确分类的样本数量之和除以总样本数。
[0098][0099]
其中，xa、xb为两个分类方案的均值；σa、σb为两个分类方案的标准差，γ为两个分类方案的相关系数，m为总样本数。
[0100]
mcnemar卡方检验公式如式(9)—(10)所示，
[0101]
当a b≥40时，使用如下公式:
[0102][0103]
当a b《40时，使用如下公式:
[0104][0105]
其中，“a”指的是在第一个分类方案中被预测为正确的类，但在第二个分类方案中被预测为错误的类的变量的数量，而“b”指的是在第一个分类方案中被预测为错误的类，但在第二个分类方案中被预测为正确的类的变量的数量。
[0106]
综上所述，通过计算以上指标可以定量评价无人机影像分类模型的分类能力以及分类精度差异，同时还可以分析分类方案之间的显著性差异。
[0107]
如图2所示，一种图像预测优化处理方法以及评价分类结果的整个过程为：
[0108]
步骤一：依据实测数据制作深度学习语义标签；
[0109]
步骤二：对无人机影像进行预处理；
[0110]
步骤三：将步骤一与二数据进行匹配，形成训练样本集合；
[0111]
步骤四：对训练样本进行分割；
[0112]
步骤五：对卷积神经网络进行优化，添加条件随机场；
[0113]
步骤六：设置卷积神经网络的最佳参数；
[0114]
步骤七：进行深度学习训练；
[0115]
步骤八：进行影像预测分类；
[0116]
步骤九：对多种分类结果进行融合处理；
[0117]
步骤十：对最终的分类结果进行优化处理(即后处理)；
[0118]
步骤十一：构建深度学习模型分类结果评价指标；
[0119]
步骤十二：将步骤十分类结果与实测数据进行对比，按照评价指标进行模型评判。
[0120]
实施例2：
[0121]
如图3所示，一种图像预测优化处理装置，包括：
[0122]
导入模块，用于导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
[0123]
预处理模块，用于将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
[0124]
模型优化模块，用于基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；
[0125]
训练模块，用于通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
[0126]
分类优化模块，用于对多种分类结果进行融合处理，得到融合的分类结果；对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
[0127]
实施例3：
[0128]
一种图像预测优化处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的图像预测优化处理方法。
[0129]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0130]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0131]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0132]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0133]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0134]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0135]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。