基于频域感知的真实世界单幅图像超分辨的重建方法

1.本发明涉及的是一种图像处理领域的技术，具体是一种基于频域感知的真实世界单幅图像超分辨重建方法，运用物理模型指导的退化模型进行大量的数据生成，并驱动图像超分辨重建的方法。


背景技术：

2.单幅图像超分辨(sisr)是通过信号处理技术将低分辨图(lr)中缺失的细节或高频信息恢复，并转化为视觉效果更好的高分辨率图像的技术。随着于深度学习技术的快速发展，基于神经网络的sisr技术也受到广泛开发，但因为现有的sisr网络在训练过程中，往往使用合成的配对图像，而其中低分辨率图像的生成方法大都只是将高分辨的图像进行双三次降采样插值、高斯模糊、叠加高斯噪声等时域操作，与真实场景中存在的光学退化模型差别较大，直接导致在实验室环境下训练所得之网络模型无法在实际应用中得到泛化。


技术实现要素：

3.本发明针对现有sisr的模拟退化模型与真实世界中的退化过程差别较大，导致sisr网络在真实世界中效果较差的问题，提出一种单幅图像超分辨图像生成方法，能够通过简单步骤获得超分辨率图像。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种频域感知的单幅图像超分辨重建方法，在离线阶段，通过预测网络对基于实际成像系统的图像数据集进行训练，并以训练后的预测网络根据未配对的hr图像预测lr图像，从而组成训练集对sisr网络进行训练；在在线阶段，通过训练后的sisr网络根据输入真实世界拍摄的低分辨图像，生成真实世界高分辨图像，实现对真实世界单幅图像的超分辨重建。
6.所述的正向模型，即低分辨率图像与高分辨率图像的显式表达关系式为：所述的正向模型，即低分辨率图像与高分辨率图像的显式表达关系式为：其中：m和n是采样指标,为二维傅里叶变换,是二维傅里叶反变换,
↓n是n倍下采样操作,是高斯白噪声,传输函数是高斯白噪声,传输函数是高斯白噪声,传输函数f
x,y
表示x和y方向上的空间频率,和分别代表o(x,y)和p
1,2
(x,y)的二维傅里叶变换。
7.所述的实际成像系统，包括但不限于带有传感器的光学相机,例如数码单反相机和手机相机，得到图像与物体的放大倍数其中f为等效薄透镜的焦距,s为物距,s
′
为像距,h为物高,h
′
为像高。
lr图像对:{i
hr
，i
lr
}进行预处理后得到训练集以训练预测网络，具体为：
20.1.1)将每一个图像对按照一定的方式(比如不同深度)或随机地切成j对图像块：其中j＝1,2,
…
,j；
21.1.2)对于每一个图像块进行二维傅里叶变换，得到其对应的频谱图；
22.1.3)使用lr频谱除以hr频谱得到每一个图像块的传输函数再将笛卡尔坐标系下的转化到极坐标系下并沿着角方向将其平均得到一维的图像块退化函数；
23.1.4)计算得到每个图像块的截止频率并生成训练集；
24.所述的训练集具体为：若干对图像块及其对应的截止频率。
25.1.5)采用训练集训练预测网络学习hr的频谱到特定成像系统的截止频率的映射关系；
26.所述的预测网络的架构为任何一种卷积神经网络，例如34层的残差网络，该残差网络的最后一层的输出参数仅为一个参数，即预测的截止频率
27.本实施例中，利用两个不同的预测网络对基于realsr数据集的佳能eos5dmarkiii和尼康d810成像系统进行训练。两个网络的参数设置相同:批量大小为16，图像块大小为320
×
320像素，训练周期的数量为100，训练样本的数量为12，800，学习率为1
×
10-3
，优化器为rmsprop。
28.第二步、采用训练后的预测网络根据hr图像生成lr图像，具体为：
29.2.1)选择真实世界未配对的超分辨数据集，例如sr-rgb数据集中在相机焦距为105mm的未配对的图像作为hr图像i
hr,unpaired
,采用与第一步相同的方式，将每一个未配对的hr图像随机切成j块hr图像块
30.2.2)将输入训练后的预测网络得到相对应的截止频率
31.2.3)为简单化计算过程,忽略退化模型在同一图像内的空间依赖性,并使用图像平均截止频率代替，在获取f
c,source
后，对源系统像素大小与目标系统像素大小之间的不匹配进行修正得到f
c,target
；
32.所述的修正是指：使用目标系统像素大小除以源系统像素大小得到比值，再将该比值乘以f
c,source
得到f
c,target
；
33.2.4)构造一个二阶巴特沃斯低通滤波器用于近似退化函数，并根据光学退化模型公式生成于未配对图像相对于的lr图像。
34.第三步、根据第二步得到的模拟真实世界超分辨数据集，即hr图像及其对应的lr图像，对sisr网络，例如edsr网络，基于模拟的数据集进行训练，在测试阶段输入真实世界低分辨数据集，最终实现图像超分辨重建结果。
35.本实施例中，对于edsr的训练，块大小设为96
×
96，批量大小定为16，学习率的初值为1
×
10-4
，训练周期为200，优化器为adam。所有实验均使用nvidiageforcertx3090进行训练。
36.在具体实施场景下，对佳能相机拍摄的低分辨率图像进行超分辨重建，通过佳能
相机在真实世界拍摄的低分辨数据集，用于基于本方法训练的超分辨网络重建出高分辨图像，最后实现超过其他方法的超分辨率图像重建，其中：佳能相机为canoneos5dmarkiv，搭配的镜头为ef24-105mmf/4isiiusm。本实施例采用峰值信噪比(psnr)和结构相似性指数(ssim)来评价本发明和其他方法的性能。如表1所示，在佳能测试集中，本发明的psnr和ssim分别比bsrgan高出0.42db和0.013。视觉效果如图2，实验结果表明，采用本方法所获得高分辨图像具有更高的分辨率，可以看到更多的细节，优于其他的超分辨重建方法。
37.在另一实施场景下，对尼康相机拍摄的低分辨率图像进行重建，通过尼康相机在真实世界捕捉的低分辨数据集，用于基于本方法训练的超分辨网络重建出高分辨图像。所述的尼康相机为nikond810。所成重建图像结果如图3所示，使用本方法可以比其他超分辨成像方法得到更好的对比度和更少的伪影。
38.表1
39.与现有技术相比，本方法采用频域感知和深度学习的方法可以在真实世界图像超分辨中得到更优的视觉效果，在图像重建中相比于其他的图像重建方法可以达到更好的分辨率。
40.上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。


技术特征：
1.一种频域感知的单幅图像超分辨重建方法，其特征在于，在离线阶段，通过预测网络对基于实际成像系统的图像数据集进行训练，并以训练后的预测网络根据未配对的hr图像预测lr图像，从而组成训练集对sisr网络进行训练；在在线阶段，通过训练后的sisr网络根据输入真实世界拍摄的低分辨图像，生成真实世界高分辨图像，实现对真实世界单幅图像的超分辨重建。2.根据权利要求1所述的频域感知的单幅图像超分辨重建方法，其特征是，具体包括：第一步、首先在真实世界数据集中选择由同一设备拍摄的hr-lr图像对:{i
hr
，i
lr
}进行预处理后得到训练集以训练预测网络；第二步、采用训练后的预测网络根据hr图像生成lr图像；第三步、根据第二步得到的模拟真实世界超分辨数据集，即hr图像及其对应的lr图像，对sisr网络，基于模拟的数据集进行训练，在测试阶段输入真实世界低分辨数据集，最终实现图像超分辨重建结果。3.根据权利要求2所述的频域感知的单幅图像超分辨重建方法，其特征是，所述的第一步，具体包括：1.1)将每一个图像随机地切成j对图像块：其中j＝1,2,
…
,j；1.2)对于每一个图像块进行二维傅里叶变换，得到其对应的频谱图；1.3)使用lr频谱除以hr频谱得到每一个图像块的传输函数再将笛卡尔坐标系下的转化到极坐标系下并沿着角方向将其平均得到一维的图像块退化函数；1.4)计算得到每个图像块的截止频率并生成训练集；1.5)采用训练集训练预测网络学习hr的频谱到特定成像系统的截止频率的映射关系；所述的预测网络包括34层的残差网络，该残差网络的最后一层的输出参数仅为一个参数，即预测的截止频率4.根据权利要求2所述的频域感知的单幅图像超分辨重建方法，其特征是，所述的第二步，具体包括：2.1)选择真实世界未配对的超分辨数据集中在相机焦距为105mm的未配对的图像作为hr图像i
hr,unpaired
,采用与第一步相同的方式，将每一个未配对的hr图像随机切成j块hr图像块2.2)将输入训练后的预测网络得到相对应的截止频率2.3)为简单化计算过程,忽略退化模型在同一图像内的空间依赖性,并使用图像平均截止频率代替，在获取f
c,source
后，对源系统像素大小与目标系统像素大小之间的不匹配进行修正得到f
c,target
；所述的修正是指：使用目标系统像素大小除以源系统像素大小得到比值，再将该比值乘以f
c,source
得到f
c,target
；2.4)构造一个二阶巴特沃斯低通滤波器用于近似退化函数，并根据光学退化模型公式
生成于未配对图像相对于的lr图像。5.一种实现权利要求1～4中任一所述频域感知的单幅图像超分辨重建方法的系统，其特征在于，包括：学习真实世界图像退化模型参数模块、生成真实世界低分辨图像模块和训练超分辨网络模块，其中：学习真实世界图像退化模型参数模块通过对输入图像的频域图进行特征提取，隐式学习真实世界图像截止频率和拍摄深度之间的关系；生成真实世界低分辨图像模块通过已学习的退化模型，对真实世界未配对的高分辨图像生成对应的低分辨图像；训练超分辨网络模块，则训练生成的配对超分辨数据集，最终实现真实世界图像超分辨结果。

技术总结
一种单幅图像超分辨图像生成方法，在离线阶段，通过预测网络对基于实际成像系统的图像数据集进行训练，并以训练后的预测网络根据未配对的HR图像预测LR图像，从而组成训练集对SISR网络进行训练；在在线阶段，通过训练后的SISR网络根据输入真实世界拍摄的低分辨图像，生成真实世界高分辨图像，实现对真实世界单幅图像的超分辨重建。本发明采用频域感知和深度学习的方法可以在真实世界图像超分辨中得到更优的视觉效果，在图像重建中相比于其他的图像重建方法可以达到更好的分辨率。像重建方法可以达到更好的分辨率。像重建方法可以达到更好的分辨率。


技术研发人员：凌玉烨 董振兴
受保护的技术使用者：上海交通大学
技术研发日：2022.01.14
技术公布日：2022/4/22