基于多视角超分辨深度网络的合成孔径成像方法与流程

1.本发明属于图像处理技术领域，具体涉及到多视角超分辨深度网络的合成孔径成像方法。


背景技术：

2.合成孔径成像技术使用相机阵列来模拟大型虚拟凸透镜，充分利用相机的多视角信息来获得可以聚焦于图像不同深度的能力。目前在许多研究中使用单相机自标定方法，应用在合成孔径成像中，可以处理明显遮挡。目前的研究中还使用一种基于视差的相机阵列标定方法，同样应用于合成孔径成像中，可以处理明显遮挡。然而使用现有合成孔径成像技术获取的图像质量仍然有待提升，并且在现实情况中无法依靠单一地增加相机数量或性能来提升最终的合成孔径成像质量。另外在现有的超分辨方法中缺少对多尺度特征的关注，不利于对具有多尺度特征的图像进行超分辨处理。
3.在图像处理技术领域，当前需迫切解决的一个技术问题是对深度网络的合成孔径成像提供一种成像质量好的方法。


技术实现要素：

4.本发明所要解决的技术问题在于克服上述技术的不足，提供一种合成速度快、图像处理时间短、结构相似性以及峰值信噪比高、合成孔径成像质量好的基于多视角超分辨深度网络的合成孔径成像方法。
5.解决上述技术问题所采用的技术方案是由以下步骤组成：
6.(1)构建深度网络
7.深度网络由2个并联的特征提取模块依次与特征时序插值模块、可变形卷积长短期记忆模块、图像重建模块串联构成。
8.(2)获取数据集
9.从vimeo
‑
90k数据集中选取的场景图像分为训练集、测试集，训练集中的图像幅数与测试集的图像幅数比为9：1。
10.(3)训练网络
11.用训练集训练深度网络，将训练集中的场景图像输入特征提取模块，通过特征提取模块获得提取特征图，提取特征图输入特征时序插值模块，通过特征时序插值模块插值获得插值特征图，插值特征图与提取特征图输入可变形卷积长短期记忆模块获得卷积特征图，将卷积特征图输入图像重建模块，通过图像重建模块获得重建图像，完成前向传播；设置深度网络的损失函数loss：
[0012][0013]
式中，u
i
表示第i幅真实图像，g
i
表示重建后的图像，i∈[1,n]，||
·
||为一范数，α为常数，α取值为1
×
10
‑5～1
×
10
‑3，采用链式求导法迭代更新深度网络各模块卷积核权重，完成反向传播，使损失函数loss值达到最小，优化深度网络。
[0014]
(4)采集并重建图像
[0015]
将相机阵列采集图像输入训练后的深度网络，获得深度网络输出图像f
t
，t∈[1，n]。
[0016]
(5)生成合成孔径图像
[0017]
将深度网络输出图像f
t
按式(2)变换，得到变换后的第t幅仿射图像w
t
：
[0018]
w
t
＝h
t
·
f
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0019][0020]
式中h
t
为将输入图像变换到参考视角的第t个最优单映射变换矩阵，t为有限的正整数，将仿射图像w
t
按式(3)得到第t幅仿射图像像素平移后的图像p
t
：
[0021][0022][0023]
式中v为单位矩阵，θ
t
为零向量的转置，δp为横向视差d
x
和纵向视差d
y
构成的二维向量，按式(4)得到合成孔径图像中像素e的像素值s(e)：
[0024][0025]
式中p
m
(q)为第m幅图像中的像素q对应的像素值，m∈[1,n]，n是视角数量、为有限的正整数。
[0026]
在本发明的(1)构建深度网络步骤中，所述的特征提取模块至少包括2个残差块、与残差块个数相同的卷积层、比残差块个数少于1个的采样层连接构成，每1个残差块依次串连，每1个残差块的输出分别通过每1个卷积层与对应的每1个采样层的输入相连，每1个采样层依次串连后与特征时序插值模块的输入相连；最后1个残差块的输出与最后1个卷积层的输入相连，最后1个卷积层的输出与特征时序插值模块的输入相连。
[0027]
在本发明的(1)构建深度网络步骤中，所述的特征提取模块最佳由4个串连的残差块、4个卷积层、3个采样层连接构成：第一残差块依次与第二残差块、第三残差块、第四残差块串连，第一残差块的输出通过第一卷积层与第一采样层的输入相连，第二残差块的输出通过第二卷积层与第二采样层的输入相连，第三残差块的输出通过第三卷积层与第三采样层的输入相连，第一采样层依次与第二采样层、第三采样层串连后与特征时序插值模块的输入相连；第四残差块的输出与第四卷积层的输入相连，第四卷积层的输出与特征时序插值模块的输入相连。
[0028]
在本发明的(1)构建深度网络步骤中，所述的第一残差块为：第一残差卷积层与第二残差卷积层串连，第三残差卷积层的输入与第一残差卷积层的输入相连、输出与第二残差卷积层的输出以及第一卷积层的输入相连，第一残差卷积层和第二残差卷积层的尺寸为3
×
3，第三残差卷积层的尺寸为1
×
1；所述的第二残差块、第三残差块、第四残差块的结构与第一残差块的结构相同。
[0029]
由于本发明构建了特征提取模块，并利用该模块进行特征提取；采用特征时序插值模块，根据提取特征图获得插值特征图；采用可变形卷积长短期记忆模块，根据插值特征
图获得卷积特征图；采用图像重建模块，根据卷积特征图获取重建后的图像，将vimeo
‑
90k数据集划分为训练集和测试集，训练集通过最小化损失函数训练深度网络，将相机阵列采集的图像输入训练后的深度网络，获得深度网络输出图像，并进行合成，提高了合成图像的质量。与现有的方法相比，本发明缩短了图像处理时间，提高了运算速度和结构相似性以及峰值信噪比。本发明具有图像处理时间短、运算速度快、结构相似性以及峰值信噪比高、合成的图像质量好等优点，可用于合成孔径成像。
附图说明
[0030]
图1是本发明实施例1的流程图。
[0031]
图2是图1中深度网络的结构示意图。
[0032]
图3是图2中特征提取模块的结构示意图。
[0033]
图4是图3中残差块的结构示意图。
具体实施方式
[0034]
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施方式。
[0035]
实施例1
[0036]
本实施例的基于多视角超分辨深度网络的合成孔径成像方法由下述步骤组成(参见图1)：
[0037]
(1)构建深度网络
[0038]
在图2中，本实施例的深度网络由2个并联的特征提取模块依次与特征时序插值模块、可变形卷积长短期记忆模块、图像重建模块串联构成。
[0039]
图3给出了特征提取模块的结构示意图。在图3中，本实施例的特征提取模块由4个串连的残差块、4个卷积层、3个采样层连接构成：第一残差块依次与第二残差块、第三残差块、第四残差块串连，第一残差块的输出通过第一卷积层与第一采样层的输入相连，第二残差块的输出通过第二卷积层与第二采样层的输入相连，第三残差块的输出通过第三卷积层与第三采样层的输入相连，第一采样层依次与第二采样层、第三采样层串连后与特征时序插值模块的输入相连。第四残差块的输出与第四卷积层的输入相连，第四卷积层的输出与特征时序插值模块的输入相连。
[0040]
图4给出了图3中第一残差块的结构示意图。在图4中，本实施例的第一残差块为：第一残差卷积层与第二残差卷积层串连，第三残差卷积层的输入与第一残差卷积层的输入相连、输出与第二残差卷积层的输出以及第一卷积层的输入相连，第一残差卷积层和第二残差卷积层的尺寸为3
×
3，第三残差卷积层的尺寸为1
×
1。
[0041]
第二残差块、第三残差块、第四残差块的结构与第一残差块的结构相同。
[0042]
(2)获取数据集
[0043]
从vimeo
‑
90k数据集中选取的场景图像分为训练集、测试集，训练集中的图像幅数与测试集的图像幅数比为9：1。
[0044]
(3)训练网络
[0045]
用训练集训练深度网络，将训练集中的场景图像输入特征提取模块，通过特征提
取模块获得提取特征图，提取特征图输入特征时序插值模块，通过特征时序插值模块插值获得插值特征图，插值特征图与提取特征图输入可变形卷积长短期记忆模块获得卷积特征图，将卷积特征图输入图像重建模块，通过图像重建模块获得重建图像，完成前向传播；设置深度网络的损失函数loss：
[0046][0047]
式中u
i
表示第i幅真实图像，g
i
表示重建后的图像，i∈[1,n]，本实施例的n取值为8，即i∈[1,8]，||
·
||为一范数，α为常数，α取值为1
×
10
‑5～1
×
10
‑3，本实施例的α取值为1
×
10
‑4，采用链式求导法迭代更新深度网络各模块卷积核权重，完成反向传播，使损失函数loss值达到最小，优化深度网络。
[0048]
(4)采集并重建图像
[0049]
将相机阵列采集图像输入训练后的深度网络，获得深度网络输出图像f
t
，t∈[1,n]本实施例的t取值为8，即t∈[1,8]。
[0050]
(5)生成合成孔径图像
[0051]
将深度网络输出图像f
t
按式(2)变换，得到变换后的第t幅仿射图像w
t
：
[0052]
w
t
＝h
t
·
f
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0053][0054]
式中h
t
为将输入图像变换到参考视角的第t个最优单映射变换矩阵，t为有限的正整数，本实施例的t取值为8，将仿射图像w
t
按式(3)得到第t幅仿射图像像素平移后的图像p
t
：
[0055][0056][0057]
式中v为单位矩阵，θ
t
为零向量的转置，δp为横向视差d
x
和纵向视差d
y
构成的二维向量，按式(4)得到合成孔径图像中像素e的像素值s(e)：
[0058][0059]
式中p
m
(q)为第m幅图像中的像素q对应的像素值，m∈[1,n]，n是视角数量、为有限的正整数，本实施例的n取值为8，即m∈[1,8]。
[0060]
完成基于多视角超分辨深度网络的合成孔径成像方法。
[0061]
实施例2
[0062]
本实施例的基于多视角超分辨深度网络的合成孔径成像方法由下述步骤组成：
[0063]
(1)构建深度网络
[0064]
该步骤与实施例1相同。
[0065]
(2)获取数据集
[0066]
该步骤与实施例1相同。
[0067]
(3)训练网络
[0068]
用训练集训练深度网络，将训练集中的场景图像输入特征提取模块，通过特征提取模块获得提取特征图，提取特征图输入特征时序插值模块，通过特征时序插值模块插值获得插值特征图，插值特征图与提取特征图输入可变形卷积长短期记忆模块获得卷积特征图，将卷积特征图输入图像重建模块，通过图像重建模块获得重建图像，完成前向传播；设置深度网络的损失函数loss：
[0069][0070]
式中u
i
表示第i幅真实图像，g
i
表示重建后的图像，i∈[1,n]，本实施例的n取值为8，即i∈[1,8]，||
·
||为一范数，α为常数，α取值为1
×
10
‑5～1
×
10
‑3，本实施例的α取值为1
×
10
‑5，采用链式求导法迭代更新深度网络各模块卷积核权重，完成反向传播，使损失函数loss值达到最小，优化深度网络。
[0071]
其它步骤与实施例1相同。完成基于多视角超分辨深度网络的合成孔径成像方法。
[0072]
实施例3
[0073]
本实施例的基于多视角超分辨深度网络的合成孔径成像方法由下述步骤组成：
[0074]
(1)构建深度网络
[0075]
该步骤与实施例1相同。
[0076]
(2)获取数据集
[0077]
该步骤与实施例1相同。
[0078]
(3)训练网络
[0079]
用训练集训练深度网络，将训练集中的场景图像输入特征提取模块，通过特征提取模块获得提取特征图，提取特征图输入特征时序插值模块，通过特征时序插值模块插值获得插值特征图，插值特征图与提取特征图输入可变形卷积长短期记忆模块获得卷积特征图，将卷积特征图输入图像重建模块，通过图像重建模块获得重建图像，完成前向传播；设置深度网络的损失函数loss：
[0080][0081]
式中u
i
表示第i幅真实图像，g
i
表示重建后的图像，i∈[1,n]，本实施例的n取值为8，即i∈[1,8]，||
·
||为一范数，α为常数，α取值为1
×
10
‑5～1
×
10
‑3，本实施例的α取值为1
×
10
‑3，采用链式求导法迭代更新深度网络各模块卷积核权重，完成反向传播，使损失函数loss值达到最小，优化深度网络。
[0082]
其它步骤与实施例1相同。完成基于多视角超分辨深度网络的合成孔径成像方法。
[0083]
实施例4
[0084]
在以上的实施例1～3中，本实施例的基于多视角超分辨深度网络的合成孔径成像方法由下述步骤组成：
[0085]
(1)构建深度网络
[0086]
本实施例的深度网络由2个并联的特征提取模块依次与特征时序插值模块、可变形卷积长短期记忆模块、图像重建模块串联构成。
[0087]
本实施例的特征提取模块由2个串连的残差块、2个卷积层、1个采样层连接构成。第一残差块与第二残差块串连，第一残差块的输出通过第一卷积层与第一采样层的输入相连，第一采样层的输出与特征时序插值模块的输入相连；第二残差块的输出与第二卷积层
输入相连，第二卷积层输出与特征时序插值模块的输入相连。
[0088]
残差块的结构与实施例1相同。
[0089]
其它步骤与相应的实施例相同。完成基于多视角超分辨深度网络的合成孔径成像方法。