一种基于元学习的单幅图像超分辨率重建方法与流程

1.本发明属于数字图像处理技术领域，尤其是一种实现单幅图像超分辨率重建的方法。


背景技术：

2.从高分辨率图像到低分辨率图像是图像的退化过程。单幅图像超分辨率重建是指从一幅低分辨率图像重建出相应的高分辨率图像，其实质就是从退化的图像中恢复原始的图像。这是一个不完备的逆问题，退化过程中会丢失很多信息，因此从一个退化的低分辨率图像可以生成多个不同的高分辨率图像，没有唯一解。
3.在深度神经网络出现后，利用大数据，基于卷积神经网络、生成式对抗网络对高分辨率图像到低分辨率图像退化过程的逆过程进行建模，超分辨率重建技术出现了很大的发展。这些方法借助大规模的外部数据，通过机器学习技术提取外部数据中的有用信息和模式用以指导高分辨率图像的重建。用学习到的模型对低分辨率图像进行重建时，如果该低分辨率图像与模型训练中的外部数据中低分辨率图像是通过相同的退化过程得到的，会取得不错的效果。
4.但上述方法在现实环境中应用时存在两个问题：一方面，现实中的低分辨率图像可能是由各种不可知退化方式及其组合得到的，一旦退化方式与模型训练时使用的数据对应的退化方式不同，学习到的模型就不适用了，超分辨率重建效果就会大打折扣；另一方面，学习完成后，因为针对不同退化环境中的图像使用的都是固定不变的模型，所以新的退化环境中的低分辨率图像中本身蕴含的数据信息也没有能够得到充分利用。


技术实现要素：

5.有鉴于此，本发明的目的在于克服现有技术的不足，提出一种适用于真实环境中的单幅图像超分辨率重建方法。具体而言，其使用元学习(meta learning)技术，在利用外部数据学习已有的知识和经验的基础上，得到一个元模型来指导新任务的学习，然后根据该元模型，利用现实环境中少量低分辨率图像-高分辨率图像对快速构建针对该环境中退化类型的超分辨率重建模型，进而获得超分辨率重建结果。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于元学习的单幅图像超分辨率重建方法，包括以下步骤：
8.步骤1、模型预训练，获得对超分辨率重建任务有益的特征表达，即采用现有的图像超分辨率数据集训练一个卷积神经网络以实现超分辨处理；
9.步骤2、选择m个典型的退化类型，每个退化类型包括c个样本，构建由低分辨率图像-高分辨率图像对组成的数据集s；
10.步骤3、构建用于元学习的训练数据集s
meta
，即从数据集s中随机选择n个退化类型，每个类型随机选择p个低分辨率图像-高分辨率图像对并按一定比例划分为支撑集和查询集，从而由n*p个样本构成一个任务，按此方法可以获得由多个任务组成的任务池；
11.步骤4、构建卷积神经网络，进行元学习模型的训练；
12.步骤5、快速构建针对特定环境的超分辨率重建模型，即在步骤4完成后获得的元模型θ
meta
基础上，利用现实环境中少量低分辨率图像-高分辨率图像对的数据快速构建针对该特定环境的超分辨率重建模型θ
spec
；
13.步骤6、将特定环境中需要处理的低分辨率图像作为超分辨率重建模型θ
spec
的输入，其输出即为超分辨率重建图像。
14.进一步，所述步骤1中的卷积神经网络是有残差连接的12层卷积神经网络，训练时采用l1损失函数。
15.进一步，所述步骤4中的元学习模型采用maml方法，使用步骤1中预训练得到的模型及其参数作为maml训练时的初始模型，训练结束后获得元模型θ
meta
。
16.本发明的优点和积极效果是：
17.1、本发明设计合理，采用元学习的方法充分利用外部数据中包含的知识和经验构建元模型，并利用现实环境中的内部数据实现快速更新，从而获得适用于该特定环境的超分辩率重建模型，进而实现有针对性的超分辨率图像重建。本发明对快速解决不同退化环境下的超分辩率重建问题进行了有益的探索，具有重要的现实应用价值。
18.2、本发明采用元学习方法，针对图像超分辨率重建问题提出一个训练机制。该机制能够利用现有的外部数据学习得到一个有效的初始模型权重，并可以利用少量数据快速迭代，从而生成新的应用环境下的超分辨率重建模型。本发明具有自适应性，方法简便灵活，能够快速应用到多样化的真实场景中。
附图说明
19.图1为本发明中的基于元学习的单幅图像超分辨率重建机制示意图；
具体实施方式
20.以下结合附图对本发明实施例做进一步详述。
21.一种基于元学习的单幅图像超分辨率重建方法，包括以下步骤：
22.步骤1、模型预训练，获得对超分辨率重建任务有益的特征表达，即采用现有的图像超分辨率数据集训练一个卷积神经网络以实现超分辨处理。
23.神经网络结构采用有残差连接的12层卷积神经网络，初始模型参数为θ0，网络输入是低分辨率图像，输出是与之对应的高分辩图像同样大小的图像，训练时采用l1损失函数，预训练结束时模型参数为θ1。
24.步骤2、选择m个典型的退化类型，每个退化类型包括c个样本，构建由低分辨率图像-高分辨率图像对组成的数据集s。
25.对每一种退化类型，采用相应的退化滤波核，对c幅高分辨率图像进行处理，得到与之相对应的低分辨率图像，从而构成c个低分辨率-高分辨率图像对，即c个样本。
26.选择具有代表性的m个退化类型，进行上述处理，从而得到m*c个样本的数据集s。
27.步骤3、构建用于元学习的训练数据集s
meta
，即从数据集s中随机选择n个退化类型，每个类型随机选择p个低分辨率图像-高分辨率图像对并按一定比例划分为支撑集和查询集，从而由n*p个样本构成一个任务，按此方法可以获得由多个任务组成的任务池。
28.支撑集与查询集的比例设置为1∶3。
29.任务池中的每一个任务均可作为元学习的一个训练样本。
30.步骤4、构建卷积神经网络，进行元学习模型的训练：
31.采用maml(finn c，abbeel p，levine s，et al.model-agnostic meta-learning for fast adaptation of deep networks[c].international conference on machine learning，2017：1126-1135.)的方法进行元学习模型训练。使用步骤1中预训练得到的模型θ1作为maml训练时的初始模型。按照maml的训练过程，采用l1损失函数进行训练，获得优化的元模型θ
meta
。
[0032]
采用基于批量梯度下降的adam方法训练网络，批处理大小设置为8。
[0033]
步骤5、快速构建针对特定环境的超分辨率重建模型，即在步骤4完成后获得的元模型θ
meta
基础上，利用现实环境中少量低分辨率图像-高分辨率图像对的数据快速构建针对该特定环境的超分辨率重建模型θ
spec
。
[0034]
该快速构建过程是以现实环境中的少量低分辨率-高分辨率图像对作为新的训练样本，按照步骤4中的学习方法进行少量梯度更新实现。
[0035]
步骤6、将特定环境中需要处理的低分辨率图像作为超分辨率重建模型θ
spec
的输入，其输出即为超分辨率重建图像。
[0036]
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。