基于退化模型的超分辨率图像重建方法及系统与流程

1.本发明涉及图像处理技术领域，具体来说涉及一种基于退化模型的超分辨率图像重建方法及系统。


背景技术：

2.随着移动互联网的快速发展，智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据，由于存储和传输的需要，这些图片的质量会被压缩，为了使用户获得更加高质量的视觉体验，图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务，广泛应用于图片、视频修复技术中，从而实现以较低的储存和传输成本获得更高清的视觉感受。
3.图像超分辨率(super resolution，sr)是指从低分辨率(low resolution，lr)图像中恢复高分辨率(high resolution，hr)图像的过程，其研究方向大致可以归结为两类：一类是研究超分模型，随着深度学习技术的飞速发展，基于深度学习的图像超分模型得到了积极探索，并经常在sr的各种基准上取得良好的性能，这些模型大多都是基于模拟数据集训练的，例如edsr、esrgan等；另一类是研究退化模型，模拟真实世界的图像退化过程，用来构造训练数据对，实现盲超分，同时改善真实世界图像的超分效果，例如kernelgan、realsr等。
4.实际应用中，低分辨率图像的退化过程往往是非常复杂而且不可知的，当图像超分的预假设退化模型与真实图像的退化方式不匹配时，模型的性能会下降，甚至出现负面效果现象，因此在模拟数据集上训练的单图像超分辨率(single image super resolution，sisr)算法在实际应用场景下往往效果不佳。


技术实现要素：

5.本发明旨在解决现有的基于退化模型的超分辨率图像重建方法在实际应用时存在效果不佳的问题，提出一种基于退化模型的超分辨率图像重建方法及系统。
6.本发明解决上述技术问题所采用的技术方案是：一方面，本发明提出一种基于退化模型的超分辨率图像重建方法，包括以下步骤：
7.步骤1、采集真实的图像数据，构成源数据集x，并从源数据集x中随机抽取部分图像数据进行清洗得到高分辨率图像数据集y；
8.步骤2、基于源数据集x估计模糊核，搭建模糊核收集池；
9.步骤3、基于源数据集x提取噪声块，搭建噪声收集池；
10.步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集y中的高分辨率图像退化成低分辨率图像，构造有监督的sr样本；
11.步骤5、使用构造的有监督的sr样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
12.进一步地，步骤1中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。
13.进一步地，步骤1中，对部分图像数据进行清洗的方法包括：
14.i
hr
＝(i
src
*k
bic
)
↓
sc
；
15.其中，i
src
∈x，i
src
表示真实的图像数据，k
bic
属于双三次核，
↓
sc
表示步长为sc的降采样方法。
16.进一步地，步骤2中，所述搭建模糊核收集池的方法包括：
17.将模糊核收集池初始化为空集；
18.分别针对源数据集x中的所有低分辨率图像估计模糊核，并将模糊核加入模糊核收集池中。
19.进一步地，所述模糊核的估计方法为kernelgan方法。
20.进一步地，步骤3中，所述搭建噪声收集池的方法包括：
21.将噪声收集池初始化为空集；
22.分别针对源数据集x中的所有低分辨率图像采集噪声块，判断采集的噪声块是否满足预设滤波规则，若是，则将噪声块添加到噪声收集池中，所述预设滤波规则为：
23.f(n
i
)＜v；
24.其中，n
i
表示采集的第i个噪声块，f(n
i
)表示方差计算函数，v表示方差最大值。
25.进一步地，所述噪声块的采集方法包括：
26.假设噪声块n为零均值的加性噪声，则i
noise
＝i
clean
n，其中，i
clean
表示干净不含噪声的图像，i
noise
表示含有噪声的图像；
27.定义两种大小的图像块p
i
和其中，p
i
∈r
d
×
d
，定义两种步长s
g
和s
l
；
28.在含有噪声的图像上，以全局步长s
g
滑动截取全局图像块p
i
,在全局图像块p
i
上，以局部步长s
l
滑动截取局部图像块
29.若全局图像块p
i
和局部图像块满足如下性质，则该全局图像块p
i
为平滑图像块，将其添加到集合s中；
[0030][0031]
遍历所有的图片，最终得到平滑图像块集合s＝{s1,s2,...,s
t
}；
[0032]
根据平滑图像块集合获取噪声块集合v＝{v1,v2,...,v
t
}，其中，v
i
＝s
i
‑
mean(s
i
)，i∈(1,t)。
[0033]
进一步地，步骤4中，所述退化模型为：
[0034][0035]
其中，i
lr
表示低分辨率图像数据，i
hr
表示高分辨率图像数据，k表示模糊核，
↓
s
表示降采样方法，n表示噪声块。
[0036]
进一步地，所述降采样方法包括：最近邻插值降采样方法、双线性插值降采样方法和双三次插值降采样方法。
[0037]
进一步地，步骤5中，所述基于深度残差网络的图像超分模型为后上采样超分模
型，上采样方法为亚像素卷积上采样方法。
[0038]
进一步地，步骤5中，所述残差网络中的残差块不包括bn层，并且残差块相加后不经过relu层。
[0039]
另一方面，本发明还提出一种基于退化模型的超分辨率图像重建系统，包括：
[0040]
数据采集模块，用于采集真实的图像数据，构成源数据集x，并从源数据集x中随机抽取部分图像数据进行清洗得到高分辨率图像数据集y；
[0041]
模糊估计模块，用于基于源数据集x估计模糊核，搭建模糊核收集池；
[0042]
噪声提取模块，用于基于源数据集x提取噪声块，搭建噪声收集池；
[0043]
样本构建模块，用于分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集y中的高分辨率图像退化成低分辨率图像，构造有监督的sr样本；
[0044]
图像超分模块，用于使用构造的有监督的sr样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
[0045]
本发明的有益效果是：
[0046]
(1)本发明不需要成对的hr和lr训练数据，能够实现盲超分；
[0047]
(2)本发明基于真实图像估计了退化参数，设计了更加复杂并接近于真实的图像降质框架，在此基础上构造的训练数据对，相比于模拟数据对，更具多样性；
[0048]
(3)本发明能够将低质量压缩图片恢复成高分辨率图片，实现了图像分辨率的增加和图像质量的增强，并且在一定程度上解决了模拟数据集上训练的模型应用到真实数据时性能下降的问题，取得了良好的超分效果。
[0049]
(4)本发明训练并优化了基于深度残差网络的图像超分模型，极大地提高了超分辨率图像的质量。
附图说明
[0050]
图1为本发明实施例所述的基于退化模型的超分辨率图像重建方法的流程示意图；
[0051]
图2为本发明实施例所述的图像降质框架示意图；
[0052]
图3为本发明实施例所述的噪声块提取流程示意图；
[0053]
图4为本发明实施例所述的基于退化模型的超分辨率图像重建系统的结构示意图。
具体实施方式
[0054]
下面将结合附图对本发明的实施方式进行详细描述。
[0055]
本发明所述的基于退化模型的超分辨率图像重建方法，包括以下步骤：步骤1、采集真实的图像数据，构成源数据集x，并从源数据集x中随机抽取部分图像数据进行清洗得到高分辨率图像数据集y；步骤2、基于源数据集x估计模糊核，搭建模糊核收集池；步骤3、基于源数据集x提取噪声块，搭建噪声收集池；步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集y中的高分辨率图像退化成低分辨率图像，构造有
监督的sr样本；步骤5、使用构造的有监督的sr样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
[0056]
具体而言，首先采集不同分辨率的真实图像数据得到包含不同分辨率图像数据的源数据集x，然后从源数据集x中随机挑选部分图像数据进行清洗来得到高分辨率图像，进而构造hr
‑
lr图像数据对，构造的具体方法为：基于源数据集x估计模糊核并提取噪声块，分别搭建模糊核收集池和噪声收集池，然后基于广义退化模型将高分辨率图像数据集y中的高分辨率图像hr退化为低分辨率图像lr，构造有监督的sr样本，即hr
‑
lr图像数据对。最后基于有监督的sr样本训练基于深度残差网络的图像超分模型，低分辨率图像输入至该图像超分模型中，即可得到对应的高分辨率图像。
[0057]
实施例
[0058]
本发明实施例所述的基于退化模型的超分辨率图像重建方法，如图1所示，包括以下步骤：
[0059]
步骤s1、采集真实的图像数据，构成源数据集x，并从源数据集x中随机抽取部分图像数据进行清洗得到高分辨率图像数据集y；
[0060]
本实施例中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。其中，图像采集设备可以是但不限于，相机、手机等。
[0061]
其中，对部分图像数据进行清洗的方法包括：
[0062]
i
hr
＝(i
src
*k
bic
)
↓
sc
；
[0063]
其中，i
src
∈x，i
src
表示真实的图像数据，k
bic
属于双三次核，
↓
sc
表示步长为sc的降采样方法。
[0064]
步骤s2、基于源数据集x估计模糊核，搭建模糊核收集池；
[0065]
本实施例中，搭建模糊核收集池的方法包括：
[0066]
步骤s21、将模糊核收集池kernel pool初始化为空集，即k＝φ；
[0067]
步骤s22、分别针对源数据集x中的所有低分辨率图像估计模糊核k，并将模糊核k加入模糊核收集池kernel pool中。其中，模糊核的估计方法为kernelgan方法。
[0068]
步骤s3、基于源数据集x提取噪声块，搭建噪声收集池；
[0069]
为了收集方差在一定范围内的噪声块，本实施例中，所述搭建噪声收集池的方法包括：
[0070]
步骤s31、将噪声收集池noise pool初始化为空集，即n＝φ；
[0071]
步骤s32、分别针对源数据集x中的所有低分辨率图像采集噪声块n，如图3所示，本实施例通过统计方法找到平滑图像块，从中抽取噪声图像块n，具体方法包括：
[0072]
步骤s321、假设噪声块n为零均值的加性噪声，则i
noise
＝i
clean
n，其中，i
clean
表示干净不含噪声的图像，i
noise
表示含有噪声的图像；
[0073]
步骤s322、定义两种大小的图像块p
i
和其中，p
i
∈r
d
×
d
，定义两种步长s
g
和s
l
；
[0074]
步骤s323、在含有噪声的图像上，以全局步长s
g
滑动截取全局图像块p
i
,在全局图像块p
i
上，以局部步长s
l
滑动截取局部图像块
[0075]
步骤s324、若全局图像块p
i
和局部图像块满足如下性质，则该全局图像块p
i
为平滑图像块，将其添加到集合s中；
[0076][0077]
步骤s325、遍历所有的图片，最终得到平滑图像块集合s＝{s1,s2,...,s
t
}；
[0078]
步骤s326、根据平滑图像块集合获取噪声块集合v＝{v1,v2,...,v
t
}，其中，v
i
＝s
i
‑
mean(s
i
)，i∈(1,t)。
[0079]
步骤s33、判断采集的噪声块n是否满足预设滤波规则，若是，则将噪声块n添加到噪声收集池noise pool中，所述预设滤波规则为：
[0080]
f(n
i
)＜v；
[0081]
其中，n
i
表示采集的第i个噪声块，f(n
i
)表示方差计算函数，v表示方差最大值。
[0082]
具体而言，根据方差大小对采集的噪声块进行滤波，进而能够获取方差在一定范围内的噪声块n。
[0083]
步骤s4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集y中的高分辨率图像退化成低分辨率图像，构造有监督的sr样本；
[0084]
本实施例中的退化模型如下：
[0085][0086]
其中，i
lr
表示低分辨率图像数据，i
hr
表示高分辨率图像数据，k表示模糊核，
↓
s
表示降采样方法，n表示噪声块。
[0087]
可以理解，如图2所示，本实施例通过图像降质框架对高分辨率图像数据集y中的每一张高分辨率图像hr，进行降质操作，包含模糊降质、加噪降质以及降采样，生成对应的低分辨率图像lr，这样便制作了一对有监督的sr样本，即hr
‑
lr图像数据对。
[0088]
其中，降采样方法包括：最近邻插值降采样方法、双线性插值降采样方法和双三次插值降采样方法。
[0089]
步骤s5、使用构造的有监督的sr样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
[0090]
本实施例中，所述基于深度残差网络的图像超分模型为后上采样超分模型，上采样方法为亚像素卷积上采样方法，图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学习到，最后一层只对图像大小做变换，前面的卷积运算在低分辨率图像上进行，因此效率会较高。本实施例所述残差网络中的残差块不包括bn层，并且残差块相加后不经过relu层。移除bn可以减少gpu的利用率，在训练时节省内存。
[0091]
在训练得到基于深度残差网络的图像超分模型后，将低分辨率图像数据输入至该图像超分模型即可得到对应的高分辨率图像。
[0092]
综上所述，本实施例不需要给定成对的高分辨率hr图像和低分辨率lr图像数据对，仅需要真实的高分辨率hr图像数据，即可根据图像降质框架，对高分辨率图像hr实施退化操作，生成对应的低分辨率图像lr，自动构建hr
‑
lr图像数据对，实现盲超分，应用场景广。并且能够将低质量压缩图片恢复成高分辨率图片，实现了图像分辨率的增加和图像质
量的增强，并且在一定程度上解决了模拟数据集上训练的模型应用到真实数据时性能下降的问题，取得了良好的超分效果。
[0093]
基于上述技术方案，本实施例还提出一种基于退化模型的超分辨率图像重建系统，如图4所示，包括：
[0094]
数据采集模块，用于采集真实的图像数据，构成源数据集x，并从源数据集x中随机抽取部分图像数据进行清洗得到高分辨率图像数据集y；
[0095]
模糊估计模块，用于基于源数据集x估计模糊核，搭建模糊核收集池；
[0096]
噪声提取模块，用于基于源数据集x提取噪声块，搭建噪声收集池；
[0097]
样本构建模块，用于分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集y中的高分辨率图像退化成低分辨率图像，构造有监督的sr样本；
[0098]
图像超分模块，用于使用构造的有监督的sr样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
[0099]
可以理解，由于本发明实施例所述基于退化模型的超分辨率图像重建系统是用于实现实施例所述的基于退化模型的超分辨率图像重建方法的，对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的较为简单，相关之处参见方法的部分说明即可。
[0100]
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序指令相关的硬件来完成的，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0101]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。