一种基于深度特征关联性的图像超分辨率方法及系统与流程

1.本发明涉及图像超分辨率领域，特别是涉及一种基于深度特征关联性的图像超分辨率方法及系统。


背景技术：

2.在日常生活中，越来越多的低功耗设备例如手机、嵌入式终端等得到了广泛的应用，人们需要对低分辨率图像进行相关处理，以便在移动设备上获得视觉效果较好的高分辨率图像。因此，在低功耗设备中应用图像超分辨率算法受到了广泛的关注。
3.图像超分辨率技术的目标是从低分辨率图像中估计出高分辨率图像。图像超分辨率问题的退化过程通常被定义为：
4.l＝sm n，
ꢀꢀ
(1)
5.其中，l，i，n分别表示低分辨率图像，高分辨率图像和噪声，s和k分别表示具有比例因子的降采样矩阵和模糊核的矩阵形式。因为存在无限多成对的模糊核k和高分辨率图像i可以生成相同的低分辨率图像l，所以图像超分辨率是一个病态的问题。传统的基于插值的方法简单迅速，但是恢复出来的高分辨率图像质量较差。近些年来，随着深度学习技术的快速发展，基于深度卷积神经网络的方法在高分辨率图像的重建过程中大幅度领先传统的基于插值的方法，并且相关实验表明参数量越大的深层网络越能显著的改善图像超分辨率算法的性能，但是也带来了计算时间和内存消耗的大幅度增加。在真实场景下，这些拥有巨大计算量和参数量的大模型是无法被部署到像手机这类低功耗设备中去的。为了解决这一问题，需要利用一些模型压缩的方法来获得一些参数量较小但性能表现较好的图像超分辨率模型。


技术实现要素：

6.本发明的目的是提供一种基于深度特征关联性的图像超分辨率方法及系统，以通过参数量较小且高性能的学生超分辨率模型估计出高分辨率图像。
7.为实现上述目的，本发明提供了如下方案：
8.一种基于深度特征关联性的图像超分辨率方法，包括：
9.获取待重建的低分辨率图像；
10.将所述待重建的低分辨率图像输入至训练好的学生模型进行重建，得到高分辨率图像；
11.所述学生模型的训练过程包括：
12.以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型；所述训练好的教师模型包括十个残差组模块；所述学生模型是通过所述教师模型进行压缩和替换得到的；所述整体损失函数包括蒸馏损失函数和监督损失函数。
13.可选的，所述以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型，具体包括：
14.将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵；
15.根据所述深度特征关联性矩阵确定蒸馏损失函数；
16.根据所述训练好的教师模型输出的高分辨率图像和所述真实图像确定监督损失函数；
17.以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，根据所述蒸馏损失函数和监督损失函数，利用损失函数衰减机制，对所述学生模型进行训练，得到训练好的学生模型。
18.可选的，所述将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵之前，还包括：
19.以低分辨率训练图像为所述教师模型的输入，以高分辨率训练图像为所述教师模型的输出，采用双三次下采样的成对数据集对超分辨率模型进行训练，得到训练好的教师模型。
20.可选的，所述将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵，具体包括：
21.对所述训练好的教师模型不同网络深度的残差组模块的输出进行特征映射，得到降维后的教师模型深度特征；
22.将所述降维后的教师模型深度特征进行归一化和均值化处理，得到教师模型深度特征关联性矩阵；
23.将所述学生模型不同网络深度的残差组模块的输出进行归一化和均值化处理，得到学生模型深度特征关联性矩阵；所述学生模型的残差组模块包括倒残差模块；所述深度特征关联性矩阵包括教师模型深度特征关联性矩阵和学生模型深度特征关联性矩阵。
24.可选的，所述根据所述训练好的教师模型输出的高分辨率图像和所述真实图像确定监督损失函数，具体包括：
25.所述监督损失函数包括第一监督损失函数和第二监督损失函数；
26.根据所述训练好的教师模型输出的高分辨率图像确定第一监督损失函数；
27.根据所述真实图像确定第二监督损失函数。
28.一种基于深度特征关联性的图像超分辨率系统，包括：
29.获取模块，用于获取待重建的低分辨率图像；
30.重建模块，用于将所述待重建的低分辨率图像输入至训练好的学生模型进行重建，得到高分辨率图像；
31.重建模块包括学生模型训练子模块，所述学生模型训练子模块用于以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型；所述训练好的教师模型
包括十个残差组模块；所述学生模型是通过所述教师模型进行压缩和替换得到的；所述整体损失函数包括蒸馏损失函数和监督损失函数。
32.可选的，所述学生模型训练子模块，具体包括：
33.深度特征关联性矩阵确定单元，用于将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵；
34.蒸馏损失函数确定单元，用于根据所述深度特征关联性矩阵确定蒸馏损失函数；
35.监督损失函数确定单元，用于根据所述训练好的教师模型输出的高分辨率图像和所述真实图像确定监督损失函数；
36.学生模型训练单元，用于以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，根据所述蒸馏损失函数和监督损失函数，利用损失函数衰减机制，对所述学生模型进行训练，得到训练好的学生模型。
37.可选的，所述学生模型训练子模块，还包括：
38.教师模型训练单元，用于以低分辨率训练图像为所述教师模型的输入，以高分辨率训练图像为所述教师模型的输出，采用双三次下采样的成对数据集对超分辨率模型进行训练，得到训练好的教师模型。
39.可选的，所述深度特征关联性矩阵确定单元，具体包括：
40.特征映射子单元，用于对所述训练好的教师模型不同网络深度的残差组模块的输出进行特征映射，得到降维后的教师模型深度特征；
41.教师模型深度特征关联性矩阵确定子单元，用于将所述降维后的教师模型深度特征进行归一化和均值化处理，得到教师模型深度特征关联性矩阵；
42.学生模型深度特征关联性矩阵确定子单元，用于将所述学生模型不同网络深度的残差组模块的输出进行归一化和均值化处理，得到学生模型深度特征关联性矩阵；所述学生模型的残差组模块包括倒残差模块；所述深度特征关联性矩阵包括教师模型深度特征关联性矩阵和学生模型深度特征关联性矩阵。
43.可选的，所述监督损失函数确定单元，具体包括：所述监督损失函数包括第一监督损失函数和第二监督损失函数；
44.第一监督损失函数确定子单元，用于根据所述训练好的教师模型输出的高分辨率图像确定第一监督损失函数；
45.第二监督损失函数确定子单元，用于根据所述真实图像确定第二监督损失函数。
46.根据本发明提供的具体实施例，本发明公开了以下技术效果：
47.本发明提供的一种基于深度特征关联性的图像超分辨率方法及系统，在学生模型的训练时，以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型；所述训练好的教师模型包括十个残差组模块；所述学生模型是通过所述教师模型进行压缩和替换得到的；所述整体损失函数包括蒸馏损失函数和监督损失函数。通过知识蒸馏的方式，引入蒸馏损失函数将关联性信息从教师模型传递至学生模块下，使得学生模型在参数量和计算量较低时仍具有较好的性能表现，重建出高质量的高分辨率图像。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明提供的基于深度特征关联性的图像超分辨率方法流程示意图；
50.图2为本发明提供的采用知识蒸馏的超分辨率网络整体结构示意图；
51.图3为本发明提供的教师模型结构示意图；
52.图4为本发明提供的学生模型中倒残差模块结构示意图；
53.图5为本发明提供的特征映射模块结构示意图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.本发明的目的是提供一种基于深度特征关联性的图像超分辨率方法及系统，以通过参数量较小且高性能图像超分辨率模型估计出高分辨率图像。
56.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
57.如图1和图2所示，给定一张低分辨率图像(lr)，本发明是在知识蒸馏框架下完成的将深度特征关联性知识从重量级教师模型传递到轻量级学生模型的任务，使轻量级学生模型能够在重量级教师模型的监督下提升自己的性能表现，重构出效果较好的高分辨率图像(sr)。流程图中实线表示训练过程，虚线表示测试过程。对于训练过程，本发明采用经过双三次下采样的成对数据集进行训练，首先将教师模型训练好，然后将参数固定下来，接着将学生模型从头开始训练，从训练好的教师模型中提取出深度特征关联性知识并传递给学生模型进行学习，最终使学生模型获得更好的性能表现(实线)。当学生模型在教师模型的监督下逐步收敛，给定测试的低分辨率图像，利用训练好的学生模型，可以重建出高分辨率的图像(虚线)。本发明提供的一种基于深度特征关联性的图像超分辨率方法，包括：
58.获取待重建的低分辨率图像。
59.将所述待重建的低分辨率图像输入至训练好的学生模型进行重建，得到高分辨率图像。
60.所述学生模型的训练过程包括：
61.以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型；所述训练好的教师模型包括十个残差组模块；所述学生模型是通过所述教师模型进行压缩和替换得到的；所述整体损失函数包括蒸馏损失函数和监督损失函数。即以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数
为损失函数，利用损失函数衰减机制对学生模型进行训练得到训练好的学生模型；所述整体损失函数包括蒸馏损失函数和监督损失函数；所述蒸馏损失函数是根据学生模型和所述训练好的教师模型确定的。所述监督损失函数是根据训练好的教师模型输出的高分辨率图像和所述真实图像确定的；所述训练好的教师模型包括十个残差组模块；所述学生模型是通过所述教师模型进行压缩和替换得到的。
62.在实际应用中，所述以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型，具体包括：
63.将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵。
64.根据所述深度特征关联性矩阵确定蒸馏损失函数。
65.根据所述训练好的教师模型输出的高分辨率图像和所述真实图像确定监督损失函数。
66.以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，根据所述蒸馏损失函数和监督损失函数，利用损失函数衰减机制，对所述学生模型进行训练，得到训练好的学生模型。
67.在实际应用中，所述将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵之前，还包括：
68.以低分辨率训练图像为所述教师模型的输入，以高分辨率训练图像为所述教师模型的输出，采用双三次下采样的成对数据集对超分辨率模型进行训练，得到训练好的教师模型。
69.在实际应用中，所述将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵，具体包括：
70.对所述训练好的教师模型不同网络深度的残差组模块的输出进行特征映射，得到降维后的教师模型深度特征。
71.将所述降维后的教师模型深度特征进行归一化和均值化处理，得到教师模型深度特征关联性矩阵。
72.将所述学生模型不同网络深度的残差组模块的输出进行归一化和均值化处理，得到学生模型深度特征关联性矩阵；所述学生模型的残差组模块包括倒残差模块；所述深度特征关联性矩阵包括教师模型深度特征关联性矩阵和学生模型深度特征关联性矩阵。
73.在实际应用中，所述根据所述训练好的教师模型输出的高分辨率图像和所述真实图像确定监督损失函数，具体包括：
74.所述监督损失函数包括第一监督损失函数和第二监督损失函数。
75.根据所述训练好的教师模型输出的高分辨率图像确定第一监督损失函数。
76.根据所述真实图像确定第二监督损失函数。
77.本发明还提供一种基于深度特征关联性的图像超分辨率方法更为具体的实施方式，包括以下内容：
78.选取教师模型并进行训练
79.为了构建知识蒸馏的框架，首先选取一个如图3所示的重量级的超分辨率模型rcan(residual channel attentionnetwork)作为教师模型，其构建形式为嵌套残差，模型由十个残差组模块组成，每一个残差组模块又由二十个残差模块组成，每一个残差模块是由四层标准卷积组成。每个卷积层连接一个激活层。在图像超分辨率任务上具有很高的性能表现，其网络的形式如公式(2)所示。
80.i
sr
＝t(i
lr
)
ꢀꢀ
(2)
81.其中t是指教师模型，l
lr
和i
sr
分别指低分辨率图像和教师模型输出的高分辨率图像。
82.在教师模型选定后，对教师模型进行训练。首先，将低分辨率图像(lr)输入到教师模型中，通过一层卷积进行特征提取得到浅层特征f0，然后通过嵌套残差模块得到高层特征f
df
，在嵌套残差结构的尾部将浅层特征f0和高层特征f
df
进行叠加，然后通过上采样模块进行上采样获得特征f
up
，最后通过重建模块获得高分辨率图像(sr)。利用损失函数公式(3)对教师模型生成的高分辨率图像进行约束，然后将训练好的教师模型的参数固定下来，在接下来学生模型的训练过程中不进行反向传播，而是提供不同网络深度的深度特征来计算关联性知识并传递给学生模型学习。
[0083][0084]
其中t指的是教师模型，和分别是低分辨率图像和真实高分辨率图像，l
cons_t
为教师模型训练过程的损失函数。
[0085]
构建学生模型
[0086]
学生模型是通过压缩教师模型中残差模块的数量和通道数量来获取的，具体是将教师模型中残差模块的数量从20减少到2，将教师模型中的特征通道数量从64减少为16。并且将教师模型残差模块中的标准卷积替换为优化后的轻量级倒残差模块，其中，轻量级倒残差模块如图4所示，最终构建出一个轻量级的学生模型。
[0087]
优化后的轻量级倒残差模块由四个单独的层构成，第一层被称为扩张层，其采用1x1卷积将特征从低维空间映射到高维空间，第二层被称为深度卷积层，通过组卷积来对每个输入通道执行轻量级滤波，第三层是relu激活层，进行特征的非线性映射，第四层被称为投影层，也是采用1x1卷积将特征图从高维空间映射到低维空间，通过计算输入特征的线性组合来构建新的特征。采用倒残差模块的目的是减少学生模型的计算量和加速学生模型的推理速度。
[0088]
由于倒残差模块中引入了组卷积操作和1x1卷积，可以在不降低太多性能的同时减少学生模型的参数量和计算量，采用倒残差模块可以将标准卷积的计算量缩小8至9倍。倒残差模块由下式表示：
[0089][0090]
其中，为倒残差模块，f
input
指输入高维特征，f
output
指模块的输出高维特征。
[0091]
训练学生模型
[0092]
教师模型中的深度特征映射
[0093]
在知识蒸馏的框架下，从头开始训练学生模型。
[0094]
首先，将低分辨率图像(lr)同时输入到训练好的教师模型和学生模型中，然后将教师模型和学生模型中不同网络深度例如第一、第五、第十的残差组的输出作为深度特征，由于在构建学生模型的时候对模型中通道数量进行了压缩，因此导致教师模型和学生模型中提取的深度特征的维度不一致，因此采用如图5所示的特征映射模块即特征映射单元，借鉴pca的最小误差方法，将教师模型的三个深度特征利用特征映射模块进行处理，其中特征映射模块由两层1x1卷积层构成，采用第一层卷积将教师模型的深度特征从高维映射到低维，然后再使用第二层卷积将低维深度特征映射为输出高维特征，使特征映射模块中间输出的低维深度特征f
reduct
能保留主要的特征信息来尽量重构出和输入高维特征相似的输出高维特征。特征映射模块如下式所示：
[0095][0096]
其中，为特征映射模块，f
input
指输入高维特征，f
output
指模块的输出高维特征。
[0097]
在蒸馏训练过程中，由于教师模型中的深度特征和学生模型中的深度特征维度不一致，需要采用特征映射模块对教师模型中深度特征进行降维，在特征映射模块的训练过程中，采用均方误差代价函数公式(6)来约束特征映射模块的输出高维特征：
[0098][0099]
其中，f
input
指输入高维特征，f
output
指模块的输出高维特征，n为一个批次的样本数量，i为一个批次中的第i个样本。
[0100]
在得到特征映射模块中的低维深度特征f
reduct
后，利用深度特征关联性计算模块来挖掘深度特征的关联性知识，此模块将提取出特征关联性矩阵，表示不同特征之间的内在关联性。从深度特征中计算出深度特征关联性矩阵的具体内容如下：
[0101]
假设给定教师模型特征映射后的低维深度特征的维度为f∈r
c
×
w
×
h
，首先将深度特征f的后两个维度压缩成一个维度，压缩成维度为的二维张量，其中c是通道数，wh是指长和宽的乘积，r为实数。
[0102]
为了在知识蒸馏过程中能有效地传递教师模型中深度特征的丰富知识，将教师模型和学生模型生成的深度特征限定在一个解空间进行计算，通过对深度特征的每一列进行归一化处理来限制解空间的大小，归一化是指数据减去当前维度的最小值除以当前维度最大值减去当前维度最小值，这样做可以将数据限制在0～1的范围内。在归一化操作后，为了压缩深度特征关联性计算的计算量，先将归一化操作后的深度特征在通道维度做了均值化处理，如公式(7)所示，处理后的深度特征维度为然后再通过公式(8)计算深度特征关联性矩阵d。
[0103][0104]
其中指的是的转置，为压缩后的深度特征，为取第二维度后的深度特征，wh为深度特征第一维度乘第二维度的值，[i，j]为深度特征里坐标为i，j的特征点。
[0105]
在学生模型训练过程中，教师模型和学生模型都计算出深度特征关联性矩阵，引
入蒸馏损失函数公式(9)来监督学生模型生成的学生模型深度特征关联性矩阵d
s
尽量和教师模型生成的教师模型深度特征关联性矩阵d
t
一致，使学生模型能学习到教师模型中深度特征的关联性。
[0106][0107]
其中，l
fd
为蒸馏损失函数，为教师模型关联性矩阵，为学生模型关联性矩阵。
[0108]
除了引入蒸馏损失进行训练，还将教师模型输出的高分辨率图像(sr)和真实高分辨率图像(hr)都用来监督学生模型的学习，并且使用公式(10)即第一监督损失函数和公式(11)即第二监督损失函数来对学生模型的输出高分辨率图像(sr)做进一步的约束。
[0109][0110]
其中，t指的是教师模型，s指的是学生模型，指的是第i张低分辨率图像，n指的是一个批次的图像数量，l
sr_cons
为第一监督损失函数，为教师模型的输出，为学生模型的输出。
[0111][0112]
其中，指第i张真实高分辨率图像。
[0113]
最终，学生模型的整体损失函数如公式(12)所示。
[0114]
l(θ)＝αl
cons_s
βl
sr_cons
γl
fd
ꢀꢀ
(12)
[0115]
其中α，β，γ是权重参数，用来平衡不同损失函数的作用。
[0116]
在权重参数的选择上，在学生网络训练的早期阶段，蒸馏损失函数能帮助学生模型快速的学习到教师模型的有效知识，进而加速学生模型的网络收敛，但是蒸馏损失函数在学生模型训练的后期会抑制学生模型的进一步学习。通过损失函数权重衰减机制来在训练的过程中逐渐降低蒸馏损失的作用，更进一步的提高知识蒸馏的效果：
[0117][0118]
其中σ是一个衰减常量系数，n
e
是指整个训练过程中的当前epoch数，n是一个可变参数，用来决定多少个epoch进行一次衰减。
[0119]
本发明还提供一种基于深度特征关联性的图像超分辨率系统，包括：
[0120]
获取模块，用于获取待重建的低分辨率图像。
[0121]
重建模块，用于将所述待重建的低分辨率图像输入至训练好的学生模型进行重建，得到高分辨率图像。
[0122]
重建模块包括学生模型训练子模块，所述学生模型训练子模块用于以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，以整体损失函数为损失函数，利用损失函数衰减机制，通过训练好的教师模型输出的高分辨率图像和真实图像对所述学生模型进行监督训练，得到训练好的学生模型；所述训练好的教师模型包括十个残差组模块；所述学生模型是通过所述教师模型进行压缩和替换得到的；所述整体损失函数包括蒸馏损失函数和监督损失函数。
[0123]
在实际应用中，所述学生模型训练子模块，具体包括：
[0124]
深度特征关联性矩阵确定单元，用于将所述学生模型和所述训练好的教师模型不同网络深度的残差组模块的输出进行深度特征关联性计算，得到深度特征关联性矩阵。
[0125]
蒸馏损失函数确定单元，用于根据所述深度特征关联性矩阵确定蒸馏损失函数。
[0126]
监督损失函数确定单元，用于根据所述训练好的教师模型输出的高分辨率图像和所述真实图像确定监督损失函数。
[0127]
学生模型训练单元，用于以低分辨率训练图像为所述学生模型的输入；以高分辨率训练图像为所述学生模型的输出，根据所述蒸馏损失函数和监督损失函数，利用损失函数衰减机制，对所述学生模型进行训练，得到训练好的学生模型。
[0128]
在实际应用中，所述学生模型训练子模块，还包括：
[0129]
教师模型训练单元，用于以低分辨率训练图像为所述教师模型的输入，以高分辨率训练图像为所述教师模型的输出，采用双三次下采样的成对数据集对超分辨率模型进行训练，得到训练好的教师模型。
[0130]
在实际应用中，所述深度特征关联性矩阵确定单元，具体包括：
[0131]
特征映射子单元，用于对所述训练好的教师模型不同网络深度的残差组模块的输出进行特征映射，得到降维后的教师模型深度特征。
[0132]
教师模型深度特征关联性矩阵确定子单元，用于将所述降维后的教师模型深度特征进行归一化和均值化处理，得到教师模型深度特征关联性矩阵。
[0133]
学生模型深度特征关联性矩阵确定子单元，用于将所述学生模型不同网络深度的残差组模块的输出进行归一化和均值化处理，得到学生模型深度特征关联性矩阵；所述学生模型的残差组模块包括倒残差模块；所述深度特征关联性矩阵包括教师模型深度特征关联性矩阵和学生模型深度特征关联性矩阵。
[0134]
在实际应用中，所述监督损失函数确定单元，具体包括：所述监督损失函数包括第一监督损失函数和第二监督损失函数。
[0135]
第一监督损失函数确定子单元，用于根据所述训练好的教师模型输出的高分辨率图像确定第一监督损失函数。
[0136]
第二监督损失函数确定子单元，用于根据所述真实图像确定第二监督损失函数。
[0137]
本发明为了解决模型参数量过大的问题，引入倒残差模块替换标准卷积层，通过挖掘超分辨率模型中深度特征关联性知识，进而利用知识蒸馏的方式，在知识蒸馏的框架下引入蒸馏损失将关联性知识从重量级超分辨率模型传递给轻量级超分辨率模型，使轻量级超分辨率模型在参数量和计算量较低时仍然具有较好的性能表现，提高了轻量级超分辨率模型的性能表现。从而解决重量级超分辨率模型无法部署到低功耗嵌入式设备的问题。
[0138]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0139]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不
应理解为对本发明的限制。