一种参数智能学习的红外双波段图像特征级融合方法

1.本发明属于数字图像处理中图像融合领域，涉及一种参数智能学习的红外双波段图像特征级融合方法。


背景技术：

2.天空亮云，海面“鱼鳞光”、“亮带”，炙热沙漠，高温隔壁，复杂城镇等背景场景，造成红外成像导弹、红外搜索与跟踪系统等在远距探测时，容易形成“弱”、“小”目标，或背景亮度高于目标亮度的“暗目标”问题。为解决此类目标检测问题，通过研究复合探测体制，如红外双波段成像探测，获取新的唯一性和差异性的机器视觉和其它维度物理特征。
3.目前关于红外双波段图像特征级融合的方法大多都采用固定参数融合的方式，例如传统特征融合算法，小波变换图像融合算法中，高频、低频特征融合参数为固定值，通过人为选择参数配比实现图像融合，成像的效果与人的主观选择强相关，无法做到根据输入场景图像类型自主选择融合参数。
4.因此，在对传统红外双波段图像融合方法的深入研究的基础上，提出一种参数智能学习的红外双波段图像特征级融合方法，提升特征级图像融合方法环境适应性，凸显融合图像中目标的信息，提升融合过程的自主性与融合结果的最佳性。


技术实现要素：

5.要解决的技术问题
6.为了避免现有技术的不足之处，本发明提出一种参数智能学习的红外双波段图像特征级融合方法，实现特征级图像融合参数的自适应选择。
7.技术方案
8.一种参数智能学习的红外双波段图像特征级融合方法，其特征在于步骤如下：
9.步骤1：对红外中波、长波图像数据进行配准，保留图像背景重叠部分，将两幅图像裁剪成相同大小，接着对图像进行缩放操作，将图像大小统一缩放到640
×
640，得到的图像数据集image＝{(ir
m1
,ir
l1
),(ir
m2
,ir
l2
),...(ir
mn
,ir
ln
)}，数据图像两张为一组，其中irm表示中波图像，ir
l
表示长波图像；
10.步骤2：数据集分为两组image
train
和image
test
，image
train
图像作为训练样本，image
test
作为测试样本；
11.步骤3：构建深度学习网络，网络输入图像大小为640
×
640，输出为特征级图像融合方法融合参数矩阵，其大小与所选传统特征融合算法所采用特征数相同，网络本质为分类网络；
12.融合参数生成公式如下：
13.a(a1,a2,...,an)＝fuseclassification(irm,ir
l
)
14.其中a为融合参数矩阵，参数个数为n；
15.步骤4：采用传统特征级融合方法，将步骤2训练集中的中波、长波图像进行特征提
取，将图像转为传统特征：
16.featurem(f
m1
,f
m2
,...,f
mn
)＝fe(irm)
17.feature
l
(f
l1
,f
l2
,...,f
ln
)＝fe(ir
l
)
18.其中：fe(*)为传统特征提取方法；
19.步骤5：将步骤3的特征级图像融合参数作为步骤4的传统特征的融合参数矩阵，融合参数矩阵a与特征featurem的哈达玛积加上i-a与特征feature
l
的哈达玛积作为融合特征，具体融合公式如下：
20.feature
fuse
(f
fuse1
,f
fuse2
,...f
fusen
)＝a
·
featurem (i-a)
·
feature
l
21.其中：feature
fuse
为融合后特征；
22.步骤6：利用传统特征提取算法，对步骤5的融合后特征进行逆变换，得到融合后图像，至此完成融合模型构建，具体模型：
23.ir
fuse
＝fe-1
(feature
fuse
)
24.步骤7：将训练数据集输入融合模型进行训练，得到深度学习图像融合参数模型；
25.步骤8：将图像步骤2测试集中地中波、长波图像分组输入模型，得到融合参数，根据融合图像融合公式得到融合图像。
26.有益效果
27.本发明提出的一种参数智能学习的红外双波段图像特征级融合方法，在传统方法基础上，结合深度学习方法，构建无监督深度学习网络，利用神经网络算法分类与感知特性得到特征自适应融合参数矩阵，结合传统特征级图像融合算法，得到一种参数智能学习的红外双波段图像特征级融合方法，解决空战环境中复杂多变背景下融合参数智能选择的问题。本方法通过利用深度神经网络，改变了原有传统特征级图像融合方法在不同环境下需人为设置融合参数的问题，使得算法可以不依赖人为选择，根据环境背景自主生成融合所需参数，实现图像融合。
28.本发明的优点与有益效果主要体现在：在现有传统特征级图像融合方法基础上，利用深度学习算法强分类与感知能力，实现特征级图像融合算法融合参数智能化，可根据环境不同自主确定融合参数，实现环境自适应融合，同时提升了传统特征融合方法融合效果，增加深度学习可解释性。
附图说明
29.图1：红外双波段图像特征级融合模型结构；
30.图2：红外双波段图像特征级融合流程图；
31.图3：红外双波段图像特征级融合方法流程图；
32.图4：红外双波段图像特征级融合实验结果
33.a、长波天空背景；b、中波天空背景；c、自适应特征融合；d、长波地面背景；e、中波地面背景；f、自适应特征融合；g、长波海面背景；h、中波海面背景；i、自适应特征融合。
具体实施方式
34.现结合实施例、附图对本发明作进一步描述：
35.本发明提供如下的技术方案：建立一种参数智能学习的红外双波段图像特征级融
合模型，所述的模型设计方法包括以下步骤，其中主要包括三个部分：第一部分是数据集的筛选及数据预处理；第二部分是参数智能模型构建；第三部分是对参数智能模型的训练与测试：
36.第一部分包括两个步骤：
37.步骤一，获取红外双波图像数据，红外双波图像数据为实拍天空、地面与海面下的图像，由于拍摄红外采集仪为两个不同的仪器，因此拍摄结果存在部分偏移。因此需对红外双波图像数据进行配准，降低拍摄的影响，同时根据配准后的结果，保留图像背景重叠部分，将两幅图像裁剪成相同大小，接着对图像进行缩放操作，将图像大小统一缩放到640
×
640。得到的图像数据集image＝{(ir
m1
,ir
l1
),(ir
m2
,ir
l2
),...(ir
mn
,ir
ln
)}，数据图像两张为一组，其中irm表示中波图像，ir
l
表示长波图像。
38.步骤二，将步骤一中所述数据集分为两组image
train
和image
test
，image
train
图像作为训练样本，image
test
作为测试样本。
39.第二部分包括四个步骤：
40.步骤三，构建无监督深度学习网络，网络输入图像大小为640
×
640，输出为特征级图像融合方法融合参数矩阵，其大小与所选传统特征融合算法所采用特征数相同，网络本质为分类网络。将步骤二所述训练集中的中波、长波图像送入网络中得到输出融合参数。融合参数生成公式如下：
41.a(a1,a2,...,an)＝fuseclassification(irm,ir
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
42.其中a为融合参数矩阵，参数个数为n。
43.步骤四，根据所选传统特征级融合方法，将步骤二中所述训练集中的中波、长波图像进行特征提取，将图像转为传统特征。
44.featurem(f
m1
,f
m2
,...,f
mn
)＝fe(irm)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
45.feature
l
(f
l1
,f
l2
,...,f
ln
)＝fe(ir
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
46.其中fe(*)为传统特征提取方法。
47.步骤五，将步骤三所述的特征级图像融合参数作为步骤四所述的传统特征的融合参数矩阵。融合参数矩阵a与特征featurem的哈达玛积加上i-a与特征feature
l
的哈达玛积作为融合特征。具体融合公式如下：
48.feature
fuse
(f
fuse1
,f
fuse2
,...f
fusen
)＝a
·
featurem (i-a)
·
feature
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
49.其中feature
fuse
为融合后特征。
50.步骤六，根据步骤五所述的融合后特征，利用传统特征提取算法的逆变换，重建图像，得到融合后图像，至此完成融合模型构建，具体模型如图1所示。
51.ir
fuse
＝fe-1
(feature
fuse
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
52.第三部分包括两个步骤：
53.步骤七，根据步骤六所述图像融合模型，通过步骤二所述训练数据集进行训练，得到深度学习图像融合参数模型。
54.步骤八，根据步骤七所得模型，将图像步骤二所述测试集中中波、长波图像分组输入模型，得到融合参数，根据融合图像融合公式得到融合图像。
55.具体实施例：
56.本发明方法的具体步骤如下，分为三个部分：第一部分是数据集的筛选及数据预处理；第二部分是参数智能模型构建；第三部分是对参数智能模型的训练与测试：
57.第一部分包括两个步骤：
58.步骤一，获取红外双波图像数据，红外双波图像数据为实拍天空、地面与海面下的图像，由于拍摄红外采集仪为两个不同的仪器，因此拍摄结果存在部分偏移。因此需对红外双波图像数据进行配准，降低拍摄的影响，同时根据配准后的结果，保留图像背景重叠部分，将两幅图像裁剪成相同大小，接着对图像进行缩放操作，将图像大小统一缩放到640
×
640。得到的图像数据集image＝{(ir
m1
,ir
l1
),(ir
m2
,ir
l2
),...(ir
mn
,ir
ln
)}，数据图像两张为一组，其中irm表示中波图像，ir
l
表示长波图像。
59.步骤二，将步骤一中所述数据集分为两组image
train
和image
test
，image
train
图像作为训练样本，image
test
作为测试样本。
60.第二部分包括四个步骤：
61.步骤三，构建无监督深度学习网络，网络输入图像大小为640
×
640，输出为特征级图像融合方法融合参数矩阵，其大小与所选传统特征融合算法所采用特征数相同，网络本质为分类网络。网络中的主要模块由卷积层、bn层与最大池化层组成，为一个特征提取模块，卷积核大小为3
×
3，最大池化核为2
×
2。
62.网络由三部分组成，第一部分为特征提取部分，由两个特征提取模块组成，主要提取输入图像的特征，特征提取部分网络参数共享，即中波长波图像公用一个特征提取部分。
63.fm,f
l
＝feaexa(image
train
(irm,ir
l
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
64.其中fm,f
l
分别为中波，长波图像经过网络抽象的高维特征。
65.第二部分为特征合并部分，将第一部分得到的高位特征融合，合并成一个组合特征。，使用concatenate操作融合两个高维特征为一个高维组合特征。
66.f＝concat(fm,f
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
67.其中f为融合后特征
68.第三部分融合参数生成部分，主要根据特征生成融合参数。第三部分由三个特征提取模块和一个全连接模块组成，全连接层的输出就是融合参数矩阵。
69.a(a1,a2,...,an)＝fuseclassification(irm,ir
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
70.其中a为融合参数矩阵，参数个数为n。
71.步骤四，本项目所选传统特征融合方法为haar小波变换，haar小波变换会输出一个高频特征，和三个低频特征。根据所选传统特征级融合方法，将步骤二中所述训练集中的中波、长波图像进行小波变换，将图像转为传统特征。
72.featurem(f
m1
,f
m2
,f
m3
,f
m4
)＝dwt(irm)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
73.feature
l
(f
l1
,f
l2
,f
l3
,f
l4
)＝dwt(ir
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
74.其中dwt(*)为小波变换特征提取方法。
75.步骤五，将步骤三所述的特征级图像融合参数作为步骤四所述的小波变换特征的融合参数矩阵。融合参数矩阵a与特征featurem的内积加上i-a与特征feature
l
的内积作为融合特征。具体融合公式如下：
76.feature
fuse
(f
fuse1
,f
fuse2
,f
fuse3
,f
fuse4
)＝a
·
featurem (i-a)
·
feature
l
ꢀꢀꢀꢀ
(11)
77.其中feature
fuse
为长波图像特征与中波图像特征融合后特征。
78.步骤六，根据步骤五所述的融合后特征，利用小波变换的逆变换，重建图像，得到融合后图像，至此完成融合模型构建，具体模型如图2所示。
79.ir
fuse
＝dwt-1
(feature
fuse
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
80.第三部分包括两个步骤：
81.步骤七，根据步骤四所述图像融合模型，通过步骤二所述训练数据集进行训练，得到深度学习图像融合参数模型。
82.model
fuse
＝fuseclassification
train
(image
train
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
83.步骤八，根据步骤五所得模型，将图像步骤二所述测试集中中波、长波图像分组输入模型，得到融合参数，根据融合图像融合公式得到融合图像。融合流程如图3所示。
84.a
test
＝model
fuse
(image
test
(irm,ir
l
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0085][0086][0087]
在得到融合图像后需计算融合后图像与原输入图像的结构相似度，构建深度学习训练的loss函数，完善训练负反馈机制，至此完成融合模型构建。
[0088]
loss＝0.5*ssim(i
fuse
,im) 0.5*ssim(i
fuse
,i
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0089]
其中ssim(*)为结构相似度计算公式。
[0090]
本发明方法主要流程如图3所示，本发明根据红外双波段图像的特点，传统特征级融合方法的优势和基于深度学习的分类感知能力，给出了一种参数智能学习的红外双波段图像特征级融合方法，该方法为更充分红外双波段图像信息，可实时针对不同环境得出不同融合参数，提高融合算法环境感知能力，增加可解释性。本发明算法简单，可操作性强，具有广泛的适用性。
[0091]
实例实施效果
[0092]
本发明基于实拍天空，海面与地面环境，对本发明进行测试，测试结果如图4所示。