一种适用于神经网络滤波器的残差映射算法

1.本发明属于神经网络滤波器技术领域，具体涉及一种改善神经网络滤波器性能的残差映射算法。


背景技术：

2.神经网络因为其强大的非线性能力和特征提取能力，在图像降噪领域表现出强大的性能。相比于传统的视频图像压缩降噪模块，其具有显著更强的性能。然而，神经网络滤波器往往十分依赖于训练的数据，对于训练的数据会出现或多或少的过拟合现象。如何解决这种过拟合现象是一个需要解决的问题。有效地解决这种过拟合现象，可以有效地提升模型的性能。
3.本发明中采用了一种残差映射的算法，将残差映射到失真域上，以实现对模型滤波能力的直接改变，从而缓解过拟合现象的发生。


技术实现要素：

4.本发明的目的是提出一种可以缓解过拟合现象发生的适用于神经网络滤波器的残差映射算法。
5.本发明提出的适用于神经网络滤波器的残差映射算法，通过将残差进行自适应映射，使其映射到失真域上，以减少重建失真的大小，提升神经网络滤波器的性能；实际使用中，可以作为神经网络滤波器的补充模块使用，具有一定的泛化能力。具体步骤如下。
6.(1)首先使用神经网络滤波器对重建图像进行滤波，得到滤波后的图像；把滤波后的图像和滤波前的图像做差，得到的值定义为残差；计算滤波后图像和原始输入图像之间的差别，定义为失真；设ro为失真，即原始像素yo和去方块滤波的输出x之间的差异：
7.ro＝y
o-x，
ꢀꢀ
(1)
8.类似地，设rs为残差，即神经网络滤波输出ys和去方块滤波的输出x之间的差异：
9.rs＝y
s-x，
ꢀꢀ
(2)。
10.(2)使用函数(一次函数或者二次函数)对残差rs和失真ro进行拟合，其中残差作为输入，失真作为目标；预设以λ为参数的函数f
λ
(
·
)，其可以实现对rs的映射；因此，我们需要找到这样的λ使得变换后的rs与ro之间的距离最小，方便起见，距离采用mse(均方误差)；均方误差被广泛地使用，其在相当程度上可以表示重建的psnr值(峰值信噪比)；
[0011][0012]
这里，以f
λ
(
·
)为线性函数为例(事实上，可以采用复杂的函数，比如二次函数，来实现这一点)，因此：
[0013][0014]
考虑实际中λ需要进行量化编码，可以在执行公式(4)搜索的时候，就使用量化后
的λ进行搜索,这里的n我们取了4；
[0015][0016]
(3)使用搜索中的不同系数对残差依次进行变换，用变换后的残差和失真计算新产生的mse(均方误差d)，并计算拟合系数带来的码率r，计算率失真优化函数j搜索的损失函数为:
[0017]
j＝d kr(λ)
[0018] ＝(λr
s-ro)2 kr(λ)，
ꢀꢀ
(6)
[0019]
其中，参数k为率失真优化函数j的超参数。
[0020]
(4)在所有的候选函数中，保存具有最低率失真优化损失的拟合系数作为最终选择的系数；事实上,因为这里选用的是线性函数，所以r(λ)是常数，则进行比较的时候，可以忽略这一项，只考虑d，即选择具有最小重建损失(λr
s-ro)2的λ进行无损熵编码，编码模型选择旁路编码。从而j＝d,实现了对搜索过程简化。
[0021]
(5)区别于原始方法中将映射前的残差加到滤波器输出作为重建，这里是将映射后的残差添加到滤波器输入上得到重建，并将拟合系数编入到码流中。因为拟合系数已经编入到码流中，而且在解码端预设了相同的拟合函数，因此在解码端，可以无损地将λ解码出来，从而保证编解码的匹配。因此，重建像素为其将会作为sao的输入，进行后续的滤波；
[0022]
附图说明
[0023]
图1本发明方法示意图。
[0024]
图2滤波器位置关系。
具体实施方式
[0025]
这一部分将介绍如何实施具体的残差映射算法。如图2所示，cnn-filter(神经网络滤波器)和rm(残差映射)应该放在db和sao的中间。db的输出不但会接入到cnn-filter中，还会作为rm的输入，cnn-filter的输出也会给rm作为输入。rm的输出最终会提供给sao进行下一步的滤波。
[0026]
(1)对于db的输出，标级其为重建图像x,神经网络滤波器和残差映射算法作用在db的输出上。使用神经网络滤波器对重建图像x进行滤波，得到滤波后的图像ys。如公式(1)所示，把滤波后的图像和滤波前的图像做差，得到的值定义为残差rs。如公式(2)所示，计算滤波后图像和原始输入图像yo之间的差别，定义为失真ro。
[0027]
(2)使用函数(一次函数或者二次函数)对残差和失真进行拟合，其中残差rs作为输入，失真ro作为目标。对拟合系数存在要求，即其应当是量化后的结果，以降低消耗的码率。量化规则遵循公式(5)。除了公式(5)所采用的均匀线性量化外，也可以使用非线性量化的策略。
[0028]
(3)使用拟合得到的系数λ对残差rs进行变换，用变换后的残差和失真计算新产生
的mse(均方误差)，并计算拟合系数带来的rate(码率)，使用公式(6)计算率失真优化函数j。
[0029]
(4)在步骤(2)和步骤(3)的所有候选函数中，保存具有最低率失真优化损失j的拟合系数λ作为最终选择的系数。
[0030]
(5)区别于原始方法中将映射前的残差rs加到滤波器输入x作为重建，这里要将映射后的残差添加到滤波器输入x上得到重建并将拟合系数λ进行熵编码过程，以完成编码过程。
[0031]
(6)在解码端，解码过程需要将db的输出图像，即滤波器输入x解码出来。其次，需要将残差映射系数λ解码。执行公式(7)得到映射后的残差并将映射后的残差添加到滤波器输入x上得到重建重建会被送入到后续的sao滤波器中完成整个滤波操作。


技术特征：
1.一种适用于神经网络滤波器的残差映射算法，特征在于，通过将残差进行自适应映射，使其映射到失真域上，以减少重建失真的大小，提升神经网络滤波器的性能；具体步骤如下：(1)首先使用神经网络滤波器对重建图像进行滤波，得到滤波后的图像；把滤波后的图像和滤波前的图像做差，得到的值定义为残差；计算滤波后图像和原始输入图像之间的差别，定义为失真；设r
o
为失真，即原始像素y
o
和去方块滤波的输出x之间的差异：r
o
＝y
o-x，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)类似地，设r
s
为残差，即神经网络滤波输出y
s
和去方块滤波的输出x之间的差异：r
s
＝y
s-x，
ꢀꢀꢀꢀ
(2)(2)使用函数对残差r
s
和失真r
o
进行拟合，其中残差作为输入，失真作为目标；假设以λ为参数的函数f
λ
(
·
)，可以实现对r
s
的映射；需要找到这样的λ使得变换后的r
s
与r
o
之间的距离最小；距离采用均方误差mse,mse表示重建的psnr值:这里，对于f
λ
(
·
)为线性函数，则有：考虑λ需要进行量化编码，在执行公式(4)搜索的时候，使用量化后的λ进行搜索：(3)使用搜索中的不同系数对残差依次进行变换，用变换后的残差和失真计算新产生的mse(d)，并计算拟合系数带来的码率r，计算率失真优化函数j搜索的损失函数为:j＝d kr(λ)＝(λr
s-r
o
)2 kr(λ)，
ꢀꢀꢀꢀ
(6)其中，参数k为率失真优化函数j的超参数；(4)在所有的候选函数中，保存具有最低率失真优化损失的拟合系数作为最终选择的系数；由于选用的f
λ
(
·
)是线性函数，所以r(λ)是常数，则进行比较的时候，可以忽略这一项，只考虑d，即选择具有最小重建损失(λr
s-r
o
)2的λ进行无损熵编码，编码模型选择旁路编码；从而j＝d,实现了对搜索过程简化；(5)将映射后的残差添加到滤波器输入上，得到重建，并将拟合系数编入到码流中；由于拟合系数已经编入到码流中，而且在解码端预设了相同的拟合函数，在解码端，可以无损地将λ解码出来，从而保证编解码的匹配；于是，重建像素为其将会作为sao的输入，进行后续的滤波：

技术总结
本发明属于神经网络滤波器技术领域，具体为一种适用于神经网络滤波器的残差映射算法。本发明通过将神经网络滤波器滤波结果和滤波器的输入做差，得到残差，对残差进行自适应映射，使其映射到失真域上以减少重建失真的大小。其中，映射系数也需要进行编码和解码。本发明以减少失真，提升神经网络滤波器的性能。提升神经网络滤波器的性能。提升神经网络滤波器的性能。


技术研发人员：范益波 刘超
受保护的技术使用者：复旦大学
技术研发日：2022.02.24
技术公布日：2022/5/10