一种近红外图像指导的跨模态立体图像超分辨率重构方法

1.本发明属于图像编辑技术领域，具体涉及一种跨模态立体图像超分辨率重构方法。


背景技术：

2.近年来，随着多相机跨光谱成像系统在许多现代rgbd设备上的普及，跨模态立体图像得到了广泛的关注。包括可见光模态图像和近红外模态图像的跨模态立体图像可以通过已经嵌入kinect和iphone x等成像设备中的可见光-近红外摄像头得到，同时在许多科学研究及实际应用领域具有较重要的作用，例如人脸识别、目标检测、车辆计数、场景解析等。这些领域通常需要高质量的图像来提升具体不同任务和方法的性能。
3.作为图像质量增强技术的研究分支，图像超分辨率重构是一门具有较高科学研究价值及较为广泛应用领域的现代图像处理技术。图像分辨率通常可以衡量图像的质量，即分辨率越高的图像具有更清晰的细节以及更高的图像质量，可以提供更丰富准确的信息。但由于在采集、存储及传输过程中存在着不可避免的限制或干扰因素，图像的质量受到不同程度退化影响。通常获取高分辨率图像最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。目前，通过从低质量的图像中重构出新的具有更丰富细节内容的高分辨率图像，图像超分技术在生物医学、航空研究、军事应用、图像监控、显微成像、虚拟现实等领域都表现出巨大的应用潜力。因此，在多相机跨光谱成像系统中，图像超分辨率技术可以作为一项预处理来提高图像质量，进而增强后续任务的效果，具有十分重要的应用价值及研究前景。
4.近红外图像通常比可见图像具有更好的亮度对比度和丰富的纹理细节，这些丰富的信息有助于恢复可见光图像中的高频细节。因此，利用近红外图像的参考来指导可见光图像的超分辨率具有重要的意义。然而，对于多相机跨光谱成像系统，近红外图像和可见图像是在不同的视角采集的，很难直接使用右视角的近红外图像来指导生成左视角可见光图像的纹理信息。近红外图像指导的可见光图像超分辨率重构技术可以利用多相机跨光谱成像系统中不同视角和不同模态的图像信息，进而辅助图像超分辨率重构，因而具有较大的实际应用意义及研究价值。


技术实现要素：

5.本发明的目的在于提供一种近红外图像指导的跨模态立体图像超分辨率重构方法，以提高可见光模态图像的分辨率，提升图像的主观视觉效果以及客观准确度。
6.本发明提供的近红外图像指导的跨模态立体图像超分辨率重构方法，主要针对多相机跨光谱成像系统的低分辨率可见光图像进行处理，通过构建图像超分辨率重构卷积神经网络，同时利用跨模态和跨视角的图像信息来增强多相机跨光谱成像系统中的图像分辨
率，重构高质量的高分辨率可见光图像，参见图1所示。具体步骤如下：
7.(1)跨视角匹配：
8.将低分辨率立体图像的不同模态的左视图和右视图(i
left
,nir
right
)一同输入到跨视角匹配模块(cross-view matching,cvm)，进行跨视角匹配，具体地，将不同模态的左右视图对齐到同一视角，即将右视角的近红外图像对齐到左视角，得到右视角图像对齐到左视角的结果(nir
left
)，表示为：
9.nir
left
＝cvm(i
left
,nir
right
)；
ꢀꢀꢀꢀꢀꢀꢀ
(1)
10.(2)左右图超分特征提取：
11.将低分辨率左视图和对齐到左视角的右视图分别输入本发明构建的图像超分辨率重构卷积神经网络模型的两个超分分支，利用一个卷积层和残差块来表示不同模态视图的图像超分特征表示为：
[0012][0013]
(3)左右视图特征融合：
[0014]
将提取的左视图的可见光模态图像特征和右视图的近红外模态的图像特征输入到跨模态特征迁移(cross-modal feature transfer,cmft)模块中，进行跨模态特征迁移；融合不同模态的图像得到新的图像特征将近红外图像信息通过特征融合有效传递给可见光图像特征，使融合了近红外模态图像信息的特征生成更丰富的可见光图像模态的纹理等细节信息，表示为；
[0015][0016]
(4)左右视图超分：
[0017]
分别将融合了不同模态的图像特征和近红外图像特征输入两个超分分支的卷积层和残差块中，得到新的图像特征并将其再次输入跨模态特征迁移模块；重复上述跨模态特征迁移模块以及卷积层和残差块的计算，得到最终融合了不同模态信息的图像特征和近红外模态图像特征最后，使用一个卷积层和反卷积层的计算，分别得到超分后的左视角的可见光图像以及超分后的左视角的近红外图像其中融合了近红外图像信息的特征有助于可见光图像恢复出更丰富的纹理等细节信息，表示为；
[0018][0019]
本发明中，步骤(1)所述的进行跨视角匹配的具体流程为：
[0020]
首先，将低分辨率的跨模态立体图像送入一个跨模态视差预测网络(disparity prediction network,dpn)，输出一个跨模态视差(disparity)，表示为：
[0021]
disparity＝dpn(nir
right
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0022]
其次，根据该视差将右视角的近红外图像对齐到左视角，得到的左视角的近红外
图像nir
left
，表示为：
[0023]
nir
left
＝warp(nir
right
,disparity)，
ꢀꢀꢀꢀꢀꢀꢀ
(6)
[0024]
具体地，图像对齐的方法：将右视角的近红外图像(nir
right
)中每个像素(i,j)根据视差图对应位置的视差值进行水平偏移，对齐到左视角得到左视角的近红外图像(nir
left
)，算式为：
[0025]
nir
left
(i,j)＝nir
right
(i,y-disparity(i,j))，
ꢀꢀꢀ
(7)
[0026]
本发明中，步骤(3)所述的进行跨模态特征迁移的具体流程为：
[0027]
首先，使用一个卷积层根据输入的可见光图像特征(f
vis
)计算一个空间权重图(ws)来表示可见光图像中需要增强的空间区域，表示为：
[0028]ws
＝conv(f
vis
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0029]
其次，学习一个通道维度的权重向量(wc)来为不同模态的图像特征赋予不同重要性。通过将近红外图像特征(f
nir
)和可见图像特征(f
vis
)级联起来，并使用一个全局平均池化层、卷积层和sigmoid激活层来学习权重wc。然后，将wc拆分成两个相同维度的向量(w
c1
,w
c2
)，分别用于重新调整图像特征f
nir
和f
vis
的特征值范围，表示为：
[0030][0031]
最后，利用空间权重图(ws)和通道权重向量(w
c1
,w
c2
)加权结合f
nir
和f
vis
得到融合了近红外模态图像信息的可见光图像特征(f
vis
')，算式为：
[0032]fvis
'＝ws×wc1
×fnir
ws×wc2
×fvis
，
ꢀꢀꢀꢀꢀꢀꢀ
(10)
[0033]
本发明中，步骤(4)所述需要迭代跨模态特征迁移模块以及卷积层和残差块的计算，具体步骤为：
[0034]
首先，将图像超分辨率重构卷积神经网络模型经过步骤(3)提取到的可见光图像特征和近红外图像特征输入跨模态特征迁移模块，得到融合了不同模态信息的图像特征表示为：
[0035][0036]
然后，使用一个卷积层和一个残差块计算分别处理和得到新的可见光图像特征和近红外图像特征并将其输入跨模态特征迁移模块，输出图像特征分别表示为：
[0037][0038]
将本步骤重复执行1次，得到最终融合了不同模态信息的图像特征和近红外模态图像特征分别表示为：
[0039][0040]
最后，使用一个卷积层和反卷积层的计算分别得到超分后的左视角的可见光图像以及超分后的左视角的近红外图像分别表示为：
[0041][0042]
本发明采用跨视角匹配模块提取立体图像不同模态的左右图间的视差，再根据视差将右视角的近红外图像对齐到左视角；图像超分辨率重构网络采用两个网络分支分别提取立体图像左右图的特征；采用跨模态特征迁移模块融合左右图特征；在重构立体图像左视角的可见光模态的图像时，不仅利用了该可见光模态的图像空间信息，同时还结合了对应右视角的近红外图像包含的丰富细节来辅助左图的超分过程，从而生成更多的可见光图像中的高频细节纹理、恢复出更真实的高分辨率图像。实验结果表明，本发明方法可以有效利用跨模态立体图像不同模态的图像信息来提高可见光模态图像的分辨率、生成丰富的图像内容、提升图像的主观视觉效果以及客观准确度。此外，本方法重构的高分辨率图像可以有效提高多相机跨光谱成像系统中后续任务的效果，具有重要的实际应用价值。
附图说明
[0043]
图1为本发明的流程图。
[0044]
图2为本发明采用的跨视角匹配模块的结构图。
[0045]
图3为本发明采用的跨模态特征迁移模块的结构图。
[0046]
图4为利用本方法对低分辨率可见光图像超分的结果。
具体实施方式
[0047]
对于一对低分辨率立体图像，进行超分处理，具体流程如图1所示。具体步骤为：
[0048]
首先，将低分辨率跨模态立体图像的左视角的可见光图像(i
left
)和右视角的近红外图像(nir
right
)输入如图2所示的跨视角匹配模块(cvm)，得到右视角图像对齐到左视角的结果(nir
left
)：
[0049]
nir
left
＝cvm(i
left
,nir
right
)；
[0050]
其次，分别将低分辨率左视图i
left
和对齐到左视角的右视图nir
left
输入图像超分网络的两个分支，每个分支利用一个卷积层和残差块来表示不同模态视图的图像超分特征：
[0051][0052]
然后，将提取的左视图的可见光模态图像特征和右视图的近红外模态的图像特征输入到跨模态特征迁移(cmft)模块，得到新的图像特征
for video technology 29,8(2019),2323
–
2336.
[0067]
[6]y.wen,b.sheng,p.li,w.lin,and d.d.feng.deep color guided coarse-to-fine convolutional network cascade for depth image super-resolution.ieee transactions on image processing 28,2(2019),994
–
1006。