一种基于残差引导策略的图像插值模型训练方法与流程

1.本技术涉及计算机技术领域，特别涉及一种基于残差引导策略的图像插值模型训练方法、基于残差引导策略的图像插值方法、计算机设备及可读存储介质。


背景技术：

2.图像采集设备由于在硬件设计和造价方面的限制，所获取的数字图像中的一些感兴趣区域的分辨率可能较低。图像插值是将低分辨率图像复原成高分辨率图像且尽可能保持原低分辨率图像的细节和结构的方法。
3.尽管传统的双线性和双三次插值(bicubic)方法能够实现图像插值，但是其插值结果在图像边缘处将出现明显的人工痕迹，并且有较多的含噪声和模糊的区域。为了提高插值表现，需要考虑更多的先验信息，比如有基于边缘引导的插值方法，也有基于局部或非局部的像素或图像块的图像插值方法。然而，根据对比标准图像和各种方法插值结果做差的残差图像分析可知，近些年提出的插值方法在平滑区域有较好的插值结果，但在边缘区域插值结果不佳。
4.综上，当前的图像插值方法的效果不理想，如何提升图像插值效果，是亟待本领域技术人员解决的问题。


技术实现要素：

5.本技术的目的是提供一种基于残差引导策略的图像插值模型训练方法、基于残差引导策略的图像插值方法、计算机设备及可读存储介质，用以解决当前的图像插值方案的插值效果不理想的问题。其具体方案如下：
6.第一方面，本技术提供了一种基于残差引导策略的图像插值模型训练方法，包括：
7.获取高分辨率图像；对所述高分辨率图像进行降采样，得到低分辨率图像；根据所述低分辨率图像，生成预插值图像；
8.对所述高分辨率图像和所述预插值图像做差，得到初始残差；
9.利用所述预插值图像和所述初始残差对随机森林进行训练；在训练过程中，所述随机森林按层同步生长，所述初始残差作为第一层级残差，在所述随机森林的任意层级，学习所述预插值图像与当前层级残差之间的映射关系进而生成估计残差，对所述当前层级残差与所述估计残差做差，得到下一层级残差；
10.在达到训练终止条件时，输出各层级映射关系均确定的随机森林，以作为图像插值模型。
11.可选的，所述随机森林被划分为多组随机森林，所述利用所述预插值图像和所述初始残差对随机森林进行训练，包括：
12.生成所述预插值图像的特征向量；
13.按照不动点分布模式，对所述特征向量进行分组，其中所述特征向量的分组数量等于所述随机森林的分组数量；
14.在训练所述随机森林时，每组所述特征向量和所述初始残差中相应的残差向量训练一组随机森林。
15.可选的，所述生成所述预插值图像的特征向量，包括：
16.利用一维的一阶梯度算子和二阶梯度算子对所述预插值图像进行滤波，生成对应的四幅特征图像；对所述四幅特征图像进行采样，得到每个采样位置的特征向量。
17.可选的，所述四幅特征图像的采样方式具体为：以步长为1间隔地进行采样；
18.相应的，所述不动点分布模式有4种，所述特征向量的分组数量和所述随机森林的分组数量均为4。
19.可选的，所述图像插值模型具体包括k级所述随机森林；第一级随机森林的预插值图像为利用预设插值算法生成的图像，对于任意k∈[2,k]，第k级随机森林的预插值图像为经过前k
‑
1级随机森林依次进行插值得到的图像。
[0020]
可选的，所述图像插值模型中，不同级随机森林的高分辨率图像不同。
[0021]
可选的，所述随机森林按层同步生长，包括：
[0022]
在所述随机森林的任意层级，判断是否存在未被处理的目标节点；
[0023]
若存在，生成从所述目标节点包含的特征向量到所述目标节点包含的残差向量的第一线性变换，进而生成从所述目标节点包含的特征向量到目标残差向量的第二线性变换，其中所述目标残差向量为与所述目标节点有交集的残差向量；
[0024]
若不存在，则判断是否达到分裂终止条件；
[0025]
若达到，则确定所述目标节点属于叶子节点，并记录所述目标节点的第二线性变换，最终全部叶子节点的第二线性变换即所述预插值图像与各层级残差之和之间的映射关系；
[0026]
若未达到，则确定所述目标节点属于内部节点，并通过节点分裂进入下一层级；在节点分裂过程中，随机选取分裂参数并对所述目标节点进行分裂，根据分裂前后误差减少量确定最优分裂参数，记录所述目标节点的最优分裂参数。
[0027]
第二方面，本技术提供了一种基于残差引导策略的图像插值方法，包括：
[0028]
获取待插值的低分辨率图像；
[0029]
根据所述低分辨率图像，生成预插值图像；
[0030]
将所述预插值图像输入训练好的随机森林；在所述随机森林的任意层级，根据训练过程中学习到的预插值图像与当前层级残差之间的映射关系生成估计残差；
[0031]
根据各层级的所述估计残差和所述预插值图像，生成所述低分辨率图像的插值图像。
[0032]
第三方面，本技术提供了一种计算机设备，其特征在于，包括：
[0033]
存储器：用于存储计算机程序；
[0034]
处理器：用于执行所述计算机程序，以实现如上所述的基于残差引导策略的图像插值模型训练方法，和/或，如上所述的基于残差引导策略的图像插值方法。
[0035]
第四方面，本技术提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于残差引导策略的图像插值模型训练方法，和/或，如上所述的基于残差引导策略的图像插值方法。
[0036]
综上，本技术提供一种基于残差引导策略的图像插值模型训练方法，包括：获取高
分辨率图像；对高分辨率图像进行降采样，得到低分辨率图像；根据低分辨率图像，生成预插值图像；对高分辨率图像和预插值图像做差，得到初始残差；利用预插值图像和初始残差对随机森林进行训练；在训练过程中，随机森林按层同步生长，初始残差作为第一层级残差，在随机森林的任意层级，学习预插值图像与当前层级残差之间的映射关系进而生成估计残差，对当前层级残差与估计残差做差，得到下一层级残差；在达到训练终止条件时，输出各层级映射关系均确定的随机森林，以作为图像插值模型。
[0037]
可见，该方法基于随机森林层级结构的特点，利用残差引导策略来构建并训练图像插值模型。具体的，使用预插值图像作为特征数据并使用残差作为标签数据对随机森林进行训练，训练过程中随机森林按层同步生长，初始残差为高分辨率图像与预插值图像的差值，往后层级的残差则是上一级残差与上一级估计残差的差值，由于残差能够在迭代中更新，每一级的估计残差均是对前一级残差的优化，随着训练层级的增加，图像残差收敛于零，最终得到各层级映射关系均确定的图像插值模型，利用其对低分辨率图像进行插值，能够显著提升插值效果。
[0038]
此外，本技术还提供了一种基于残差引导策略的图像插值方法、计算机设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
[0039]
为了更清楚的说明本技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1为本技术提供的基于残差引导策略的图像插值模型训练方法实施例一的整体流程图；
[0041]
图2为本技术提供的基于残差引导策略的图像插值模型训练方法实施例一中数据预处理过程的示意图；
[0042]
图3为本技术提供的随机森林逐层训练过程示意图；
[0043]
图4为本技术提供的基于残差引导策略的图像插值方法实施例一的流程图；
[0044]
图5为本技术提供的根据训练结果对图像进行插值的过程示意图。
具体实施方式
[0045]
为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0046]
概括地说，图像插值的目标是将低分辨率图像转变成高分辨率图像且尽可能保持原低分辨率图像中的细节和结构。本技术通过机器学习模型来实现图像插值。通常，训练一个模型，就是让它从特征数据x和标签数据y学习二者之间的映射关系，但是我们所选的模型m，其学习能力可能存在局限性，导致其预测能力存在瓶颈，而运用残差引导策略则可以帮助模型突破限制。
[0047]
残差作为真值与预测值之间的差值，反映了模型对于数据预测不足的地方，也提供了修正模型的依据。使用残差代替真值作为标签参与训练与直接使用真值作为标签无异，但残差具备一个显著的特点，即能够在迭代中更新。所以，本技术让模型在残差引导下进行拓展，新的模型再对之前的残差进行精炼，反复迭代后得到的最终模型将产出更优的预测结果。按照该策略，模型输出的估计值将会不断逼近真值。如果第一级模型m
(1)
不能完美的做出预测，那么必然产生新的残差，这里用ε表示，对此再利用第二模型m
(2)
针对这一部分残差进行学习。让m
(2)
能够弥补m
(1)
的不足，此时又会产生新的残差，但理想情况下该残差各分量将会比之前要小。如此进行下去。直至第n级模型，此时剩余的残差ε各分量的强度已经几乎为0，也就是说在一次次迭代完善后，模型的预测值逼近了真值。这就是残差引导策略的整体思路。
[0048]
本技术的核心是提供一种基于残差引导策略的图像插值模型训练方法、基于残差引导策略的图像插值方法、计算机设备及可读存储介质。利用随机森林层级结构的特点，应用残差引导策略来构建并训练模型。理论上，随着训练层级的增加，图像残差收敛于零，从而可以实现对插值效果的改善。训练过程中各层级均保存了对应的回归函数，即低分辨率图像块与当前阶段残差图像块的映射关系。在插值阶段，利用各层级映射关系来预测残差，鉴于模型训练的收敛性质，每一层级的估计残差均是对前一层级残差的优化，通过融合各层级的估计残差，完成对图像的重建并保证了重建的质量。大量的实验结果表明本技术能够提供高精度且主观感觉良好的插值图像。
[0049]
下面对本技术提供的基于残差引导策略的图像插值模型训练方法实施例一进行介绍。
[0050]
参见图1，实施例一包括以下步骤：
[0051]
s11、获取高分辨率图像；对高分辨率图像进行降采样，得到低分辨率图像；根据低分辨率图像，生成预插值图像；
[0052]
s12、对高分辨率图像和预插值图像做差，得到初始残差；
[0053]
s13、利用预插值图像和初始残差对随机森林进行训练；在训练过程中，随机森林按层同步生长，初始残差作为第一层级残差，在随机森林的任意层级，学习预插值图像与当前层级残差之间的映射关系进而生成估计残差，对当前层级残差与估计残差做差，得到下一层级残差；
[0054]
s14、在达到训练终止条件时，输出各层级映射关系均确定的随机森林，以作为图像插值模型。
[0055]
具体的，为提升效率，上述预插值图像和初始残差经过预处理之后，才作为训练数据。该预处理过程包括但不限于：对预插值图像进行采样，得到用于训练的特征向量；对初始残差进行采样，得到用于训练的残差向量。
[0056]
为进一步提升插值效果，可以按照某种规则对训练数据进行分组，相应的，将全部随机森林也划分为多组随机森林，保证训练数据的分组数量等于随机森林的分组数量，在训练过程中，一组训练数据训练一组随机森林。作为一种具体的实施方式，考虑到图像插值必须保持不动点位置的像素在插值前后数值不发生改变，即插值后图像不动点位置像素的值与低分辨率图像中的值一一对应，所以可以根据预插值图像块的采样结果中包含的不动点分布模式，对特征向量进行分组。此处，采样结果包含的不动点分布模式主要受采样规则
影响，假设采样方式为：以步长为1间隔地进行采样，那么，采样结果所包含的不动点分布模式就有4种，此时特征向量的分组数量为4，随机森林的分组数量也为4。
[0057]
上面提及了一种提升插值效果的方式，即将训练数据和随机森林划分为多个分组。下面，再提供另一种提升插值效果的方式，实际应用中，这两种方式可以结合，也可以单独使用。
[0058]
为提升插值效果，可以允许图像插值模型包括多级随机森林，即图像插值模型的结构为级联随机森林。每一级随机森林均按照如上所述的方式进行训练，需要说明的是，在训练过程中，第一级随机森林的预插值图像为利用预设插值算法生成的图像，本实施例不限定选用何种图像插值算法；对于任意k∈[2,k]，第k级随机森林的预插值图像为经过前k
‑
1级随机森林依次进行插值得到的图像。
[0059]
在此基础之上，为避免过拟合，不同级的随机森林选用不同的高分辨率图像。
[0060]
综上，本实施例提供的一种基于残差引导策略的图像插值模型训练方法，将预插值图像、高分辨率图像与预插值图像做差生成的初始残差作为随机森林的输入，在训练过程中随机森林逐层生长，在每层生长完成后进行残差精炼，即生成新的残差，新的残差将引导随机森林下一层的生长。初始残差是高分辨率图像与预插值图像的差值，往后层级的残差则是上一级残差与上一级估计残差的差值。根据这种残差引导的思路，本实施例构建出基于随机森林的图像插值模型，基于残差引导策略对其进行训练，训练好的模型能够显著图像插值品质。
[0061]
在上述实施例一的基础上，下面详细介绍预插值图像和初始残差的预处理过程。这里只作为一种可行的预处理方式提供，本实施例并不限定二者的预处理方式。
[0062]
如图2所示，预插值图像的预处理过程包括以下步骤：
[0063]
s21、对预插值图像进行滤波和采样，得到每个采样位置的特征向量；
[0064]
具体的，上述滤波和采样的过程具体可以为：利用一维的一阶梯度算子和二阶梯度算子对预插值图像进行滤波，生成对应的四幅特征图像；对四幅特征图像进行采样，得到每个采样位置的特征向量。
[0065]
s22、对预插值图像进行边缘检测，得到边缘图像；对边缘图像进行采样，得到边缘图像块；
[0066]
s23、对预插值图像进行采样，得到预插值图像块；
[0067]
s24、根据每个采样位置的边缘图像块对全部采样位置的特征向量进行筛选，筛选出边缘像素强度值大于0的特征向量；
[0068]
s25、根据全部预插值图像块所包含的不动点分布模式，对筛选后的特征向量进行分组；将特征向量的分组数量记为h，则随机森林也被划分为h组随机森林；
[0069]
s26、对于任意h∈[1,h]，对第h组特征向量进行降维，得到用于训练的预插值图像的特征向量。
[0070]
图2示意了第一层级残差的生成过程，即对高分辨率图像和预插值图像做差，得到初始残差。图2还示意了初始残差的预处理过程，包括以下步骤：
[0071]
s31、对初始残差进行采样，得到每个采样位置的残差图像块；
[0072]
s32、对于任意h∈[1,h]，确定与预插值图像的第h组特征向量相对应的残差图像块，得到初始残差的第h组残差向量。也就是说，依据采样位置将残差向量与降维后的特征
向量进行组合，将s26处理后的特征向量与残差向量一一关联起来。
[0073]
如前文所述，一组训练数据用于训练一组随机森林，即一组特征向量及其相应的残差向量用于训练一组随机森林。所以，详细地讲，训练过程如下：对于任意h∈[1,h]，利用预插值图像的第h组特征向量和初始残差的第h组残差向量对第h组随机森林进行训练。
[0074]
需要说明的是，图2中，预插值图像、边缘图像和残差图像的采样方式相同。作为一种具体的实施方式，具体的采样规则可以为：以步长为1间隔地进行采样。此时，预插值图像采样结果所包含的不动点分布模式有4种，特征向量的分组数量为4，即上述h取值为4，相应的，随机森林被划分为4组。
[0075]
在上述实施例一的基础上，下面详细介绍随机森林的训练过程。这里只作为一种可行的训练方式提供，本实施例并不限定采取何种训练方式。
[0076]
如s13所述，本实施例的训练过程中，随机森林按层同步生长。如图3所示，在第一层级中，预插值图像x和第一层级残差r
(1)
作为训练数据，随机森林第一层级的节点学习二者之间的映射关系，根据该映射关系可以得到对第一层级残差r
(1)
的估计残差对第一层级残差r
(1)
和估计残差做差，得到精炼残差f以作为第二层级残差r
(2)
。在第二级随机森林中，预插值图像x和第二级残差r
(2)
作为训练数据，依次类推。
[0077]
上述s13中，在随机森林的任意层级，学习预插值图像与当前层级残差之间的映射关系进而生成估计残差的过程，具体包括以下步骤：
[0078]
s40、对于任意h∈[1,h]，利用预插值图像的第h组特征向量和初始残差的第h组残差向量，初始化第h组随机森林全部决策树的根节点；
[0079]
s41、控制全部决策树按层同步生长，在随机森林的任意层级，判断是否存在未被处理的目标节点，若存在，进入s42，否则进入s43；
[0080]
s42、生成从目标节点包含的特征向量到目标节点包含的残差向量的第一线性变换，进而生成从目标节点包含的特征向量到目标残差向量的第二线性变换，其中目标残差向量为在根节点包含的残差向量中与目标节点有交集的残差向量；
[0081]
s43、判断是否达到分裂终止条件，若达到，进入s44，否则进入s45；
[0082]
s44、确定目标节点属于叶子节点，并记录目标节点的第二线性变换，最终全部叶子节点的第二线性变换即预插值图像与各层级残差之和之间的映射关系；
[0083]
s45、确定目标节点属于内部节点，并通过节点分裂进入下一层级；在节点分裂过程中，随机选取分裂参数并对目标节点进行分裂，根据分裂前后误差减少量确定最优分裂参数，记录目标节点的最优分裂参数。
[0084]
可以看出，本实施例中，节点不仅仅计算出自身包含的特征向量与自身包含的残差向量之间的线性变换，还会叠加其全部祖先节点的线性变换，进一步计算出自身包含的特征向量与目标残差向量之间的线性变换，目标残差向量即全部残差向量中与该节点存在交集的残差向量。所以，本实施例中，只需要叶子节点记录线性变换，而内部节点无需记录其线性变换。可以理解的是，由于叶子节点不需要继续分裂，所以叶子节点无需记录最优分裂参数，只需要内部节点记录最优分裂参数即可。
[0085]
总之，每一层级计算的线性变换都会被叠加到其子节点的线性变换中(即上述根据第一线性变换生成第二线性变换的过程)，换个角度可以认为，子节点计算的线性变换可
用于对父节点的线性变换的精炼，其根据在于残差具有可加性，由残差计算出的线性变换同样可以叠加。
[0086]
下面开始详细介绍本技术提供的基于残差引导策略的图像插值模型训练方法实施例二。
[0087]
实施例二中，图像插值模型为k级级联随机森林，每一级随机森林划分为四组随机森林。实施例二的输入和输出如下：
[0088]
输入：训练图像数据集、随机森林的最大高度/最大层级l、随机森林中包含的决策树的个数n、级联随机森林的最大级数k。
[0089]
输出：训练好的级联随机森林其中每个随机森林包含n个决策树，即
[0090]
本实施例将整个训练过程分为三个阶段：数据准备阶段，第一级随机森林训练阶段，其余级随机森林训练阶段。下面分别对各个阶段进行介绍。
[0091]
第一，数据准备阶段
[0092]
s401、将高分辨率图像从rgb色彩空间转换到ycbcr色彩空间，之后只针对y通道图像进行训练。
[0093]
s402、对高分辨率图像{i
y
}间隔一个像素降采样来模拟现实条件下获取的低分辨率图像。
[0094]
s403、使用bicubic算法对低分辨率图像进行预插值，使它与原图像具有同等大小，用预插值图像代替低分辨率图像作为特征数据参与训练。
[0095]
s404、通过将对应的高分辨率图像{i
y
}与预插值图像做差得到残差图像{i
r
}，用它替代高分辨率图像{i
y
}作为标签数据参与训练。
[0096]
s405、使用matlab中的canny边缘检测函数检测预插值图像边缘，得到边缘图像{i
e
}。
[0097]
s406、根据一维的一阶梯度算子、二阶梯度算子对预插值图像进行滤波，生成对应的四幅特征图像在四幅特征图像上以步长为1间隔地采集图像块，每个位置都会生成四个大小为5
×
5的图像块将这些图像块向量化(从5
×
5转换为25
×
1)，并进行拼接(从4个25
×
1拼接为100
×
1)，进而得到拼合后的向量作为用于训练的特征向量。
[0098]
其中，一阶梯度算子、二阶梯度算子的形式如下：
[0099][0100]
s407、对预插值图像残差图像{i
r
}和边缘图像{i
e
}以同样的方式进行采样，得到预插值图像块、残差图像块和边缘图像块。
[0101]
s408、每一个特征向量x
i
都有对应的残差图像块r
i
，将特征向量拼合为矩阵x＝[x1，x2，...，x
d
]，将残差图像块拼合为矩阵，二者构成一组{x，r
(1)
}共同参与随机森林的训练，其中d为图像块数量，上标0表示处于决策树中的层数，即执行迭代的次数。残差矩阵形
式如下：
[0102][0103]
s409、根据边缘图像块，筛选出边缘像素的强度值大于0的特征向量，保留对应的特征向量和残差图像块。
[0104]
s410、根据预插值图像块的采样结果中包含的不动点分布模式，对特征向量进行分组。这里只有四种分布模式，故将特征向量分为四组。
[0105]
s411、使用pca对不同的组的特征向量分别进行降维，保存下四个pca矩阵p
j
(j＝1，2，3，4)和降维后的特征矩阵
[0106]
s412、最终得到训练数据，分别用于训练每一级中的四组随机森林，训练数据形式如下：
[0107][0108]
可以理解的是，本实施例按不动点模式将特征向量分成了四组，所以就有了四组训练数据矩阵，每组都包含了降维后的特征向量拼合的矩阵和残差矩阵每一级随机森林包含4组随机森林，4组随机森林分别对应四种不同的不动点模式。整体上，全部特征向量x共同训练一级随机森林，但细节上，是将全部特征向量x按模式分成4组x1，x2，x3，x4分别训练同一级随机森林中的四组随机森林。
[0109]
第二，第一级随机森林的训练阶段
[0110]
根据残差引导策略训练第一级随机森林包括以下步骤：
[0111]
s51、待训练的第一级随机森林其中对于第j组随机森林中的全体决策树，用数据初始化根节点。
[0112]
s52、第j组中n个决策树按层同步生长，当随机森林中全体决策树训练第l(l＝1，2，...，l
‑
1)层时，对于第n个决策树如果还存在未被处理节点α，则对其进行节点分裂。
[0113]
s53、在当前层级l＜l
‑
1时则需要精炼残差,对于第n个决策树如果还存在未精炼残差的节点则按如下步骤进行精炼残差：根据对节点β中的x
β
估计残差其中每个残差向量可由下式估计：
[0114][0115]
之后，根据下式完成对节点β中残差的精炼：
[0116][0117]
其中，x
i
是x
β
中第i个特征向量，全体按列拼合成矩阵
[0118]
s54、最终，保存训练好的随机森林
[0119]
上述s52中，节点分裂过程具体如下：
[0120]
s521、节点α中包含数据通过求解下式得到由x
a
到的线性变换，即前文中提及的第一线性变换：
[0121][0122]
x
α
到的线性变换形式如下：
[0123][0124]
s522、节点α的祖先节点已经完成训练，并得出相应的线性变换，将这些线性变换与累加得到也就是x
α
到的线性变换，即前文提及的第二线性变换，其中是指中与节点α有交集的残差向量。这里α
(i)
指的是节点α的祖先节点，α
(0)
就是节点α的根节点，α
(l
‑
1)
就是节点α的父节点，α
(l)
就是节点α。
[0125]
s523、如果节点α中包含的特征向量数量不足200或者当前层级l＝l
‑
1时，则不再继续分裂，并将节点α标记为叶子节点，存储w
α
以备插值阶段使用。
[0126]
s524、随机挑选一系列分裂参数{θ1，θ2，...，θ
p
}，其中θ
p
＝{θ1，θ2，τ}，θ
j
(j＝1，2)表示x
α
中的第θ
j
行，根据分裂函数s(x
i
，θ
p
)＝x
i
[θ1]
‑
x
i
[θ2]
‑
τ的结果对第i个特征向量进行分类，如果s(x
i
，θ
p
)≥0就将它分类到子节点β中，否则分类到子节点γ中。
[0127]
其中，p＝1，2，...，p，作为一种具体的实施方式，取值如下：p＝6。τ表示一个灰度值阈值，实际应用中灰度值被归一化到[0,1]，所以τ∈[0,1]。
[0128]
s525、使用分裂前后误差减少量来挑选最优分裂参数θ
p
，最终挑选误差减少量g
α
最大的参数θ
p
对节点α进行分裂。误差计算方式为：
[0129][0130]
其中，为利用节点δ中保存的线性变换对残差r
δ
的估计误差，d
δ
为节点δ中特征向量的数量。
[0131]
当第j组随机森林中的第n个决策树完成第l层分裂后，则更新中的随机森林
[0132]
同一组随机森林中，因为决策树在节点分裂过程中的分裂参数是随机选择的，所以，即使不同决策树的输入相同，但训练结果也是不同的。也就是说，同一随机森林中不同决策树的训练结果是不同的，训练结果具体是指：根节点和内部节点中保存的最优分裂参数以及叶子节点中保存的映射关系。
[0133]
另外，同一组随机森林中，各个决策树中得到的映射关系的维度都是相同的，所以具有可加性。假如一组随机森林包含两个决策树，特征向量x输入随机森林后，会分到决策树1中的某个叶子节点，也会分到决策树2中的某个叶子节点，这样特征向量x就对应了两个映射关系w1，w2，这两个映射关系可以分别完成对特征向量x的映射，这两个映射关系可以分别完成对特征向量x的映射可以把他们加起来得到也可以先将映射关系加起来得到w＝w1 w2，然后直接得
到
[0134]
值得一提的是，本实施例所提及的残差精炼，即根据当前层级残差确定下一层级残差的过程。
[0135]
第三，其余级随机森林的训练阶段
[0136]
根据残差引导策略训练级联随机森林
[0137]
需要说明的是，用于训练第k(k＞1)级随机森林的高分辨率图像需不同于训练随机森林时所用的训练数据，且预插值图像则是使用依次插值后产生的。其余训练步骤与第一级随机森林训练过程相同，这里不再展开介绍。
[0138]
最终，输出k级级联的随机森林即各级映射关系均确定的图像插值模型。实际应用中，k可以取值4。
[0139]
综上，本实施例提供的一种基于残差引导策略的图像插值模型训练方法，目的是由低分辨率图像获得高分辨率图像，且保证插值后的图像在客观指标和主观观感上均有很大程度的提高。本实施例主要描述离线训练阶段的实施过程，在每个决策树构建过程中迭代执行一系列节点分裂、数据精炼的步骤，其中数据精炼阶段包含数据划分、残差更新，更新后的残差将用于下一层级的训练。除此之外，还引入级联策略进一步提升图像插值的品质，从高尺度分析级联策略，它同样是利用图像残差引导模型的训练。
[0140]
上述两个实施例对图像插值模型的训练过程进行了介绍，下面介绍通过上述方式训练好的图像插值模型的图像插值过程。
[0141]
首先对本技术提供的基于残差引导策略的图像插值方法实施例一进行介绍，如图4所示，该实施例包括以下步骤：
[0142]
s61、获取待插值的低分辨率图像；
[0143]
s62、根据低分辨率图像，生成预插值图像；
[0144]
s63、将预插值图像输入训练好的随机森林；在随机森林的任意层级，根据训练过程中学习到的预插值图像与当前层级残差之间的映射关系生成估计残差；
[0145]
s64、根据各层级的估计残差和预插值图像，生成低分辨率图像的插值图像。
[0146]
总之，对于在线图像插值阶段，将给定的低分辨率图像将依次通过训练好的级联随机森林并完成插值。如图5所示，在每一级随机森林中，图像以特征向量的形式在每个决策树中自顶向下地划分，每个特征向量传递直至叶子节点后使用其中保存的线性变换生成估计残差，重新组合后的估计残差叠加到预插值图像上，就得到了当前一级随机森林的插值结果。
[0147]
下面对本技术提供的基于残差引导策略的图像插值方法实施例二进行介绍。
[0148]
实施例二的输入和输出如下：
[0149]
输入：低分辨率图像、训练好的级联随机森林
[0150]
输出：插值图像。
[0151]
本实施例将整个插值过程分为两个阶段：数据准备阶段，图像插值阶段。下面分别对这两个阶段进行介绍。
[0152]
第一，数据准备阶段
[0153]
s71、将低分辨率图像从rgb色彩空间转换到ycbcr色彩空间。
[0154]
s72、由y通道图像i
y
生成预插值图像具体的，当使用第一级随机森林插值时，使用bicubic算法对低分辨率图像预插值，得到预插值图像；而当使用其他级随机森林时，则是直接使用由上一级随机森林的插值结果作为预插值图像。
[0155]
s73、使用matlab中的canny边缘检测函数检测预插值图像边缘，得到边缘图像{i
e
}。
[0156]
s74、根据一维的一阶梯度算子、二阶梯度算子对预插值图像进行滤波，生成对应的四幅特征图像在四幅特征图像上以步长为1间隔地采集图像块，每个位置都会生成四个大小为5
×
5的图像块将这些图像块向量化，并进行拼接，进而得到拼合后的向量
[0157]
s75、对预插值图像和边缘图像{i
e
}以同样的方式采样图像块，得到预插值图像块、残差图像块和边缘图像块。
[0158]
s76、将特征向量拼合为矩阵x＝[x1，x2，...，x
d
]，其中d为图像块数量。
[0159]
s77、根据边缘图像块，筛选出边缘像素的强度值大于0的特征向量，保留对应的特征向量。
[0160]
s78、根据预插值图像块的采样结果中包含的不动点分布模式，对特征向量进行分组。这里只有四种分布模式，故将特征向量分为四组。
[0161]
s79、使用训练阶段pca对不同的组的特征向量分别进行降维，保存降维后的特征矩阵
[0162]
第二，图像插值阶段
[0163]
第k级随机森林根据处理后的特征矩阵进行图像插值，包括以下步骤：
[0164]
s81、随机森林其中对于第j组随机森林中的全体决策树，用特征矩阵初始化根节点；
[0165]
s82、特征矩阵自上而下地传递，直至叶子节点，具体的，如果抵达内部节点α的特征矩阵还未向下传递，则根据节点α记录的最优分裂参数θ对进行划分；
[0166]
s83、当特征矩阵传递到叶子节点ρ，则使用保存在该叶子节点中的线性变换w
ρ
生成估计残差
[0167]
s84、每个决策树最终都输出一个估计残差矩阵为了区分不同决策树的预测结果，将第n个决策树估计的残差矩阵记为由随机森林对残差的估计为
[0168]
s85、将预测出的残差向量重组为残差图像并处理重叠区域，具体做法为：准备两个与插值后图像同样大小的零矩阵，其中一个保存残差图像另一个保存对各位置重叠情况计数，当所有图像块都放入后，通过取平均的方式求得最终的残差图像
[0169]
s86、将与预插值图像i
x
叠加后，得到由第k级随机森林插值的图像
[0170]
如果k＜k，则将插值图像用做下一级随机森林的预插值图像，否则将插值图像还原为彩色图像，具体做法为对低分辨图像的cb通道和cr通道图像使用bicubic算法插值，然后将三通道图像合并后转换到rgb色彩空间。
[0171]
经实验证明，本实施例的基于残差引导策略的随机森林图像插值方法，相较于其它主流的图像插值算法，在图像插值结果的客观指标上有明显的提高。
[0172]
此外，本技术还提供了一种计算机设备，包括：
[0173]
存储器：用于存储计算机程序；
[0174]
处理器：用于执行所述计算机程序，以实现如上文所述的基于残差引导策略的图像插值模型训练方法，和/或，如上文所述的基于残差引导策略的图像插值方法。
[0175]
最后，本技术提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的基于残差引导策略的图像插值模型训练方法，和/或，如上文所述的基于残差引导策略的图像插值方法。
[0176]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0177]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0178]
以上对本技术所提供的方案进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。