一种无参考图像质量评价方法与流程

1.本发明涉及图像处理领域，更具体地涉及一种基于残差图像生成及多任务学习的无参考图像质量评价方法，是基于残差图像生成及多任务学习的无参考图像质量评价方法。


背景技术：

2.相似方法，基于深度卷积网络的无参考图像质量预测器(deep cnn-based blind image quality predictor)方法，请参见参考附录
1.。该方法同样有用到残差图像生成，但只是简单的在整体网络中增加一个图像输出项，质量评价与图像生成耦合度很高。
3.无参考图像质量评价是指在仅有失真图像的情况下对图片质量进行量化评价。图像质量评价具有一定的主观性，同时无参考限定了信息量，使用计算机客观算法对失真图片直接做出质量评价十分具有挑战性。进行无参考质量评价时，结合一些质量相关的辅助任务能对性能有较大的增益，但是现有基于生成任务的质量评价通常较为简单，在任务耦合程度，辅助任务本身性能上存在较大提升空间。例如，生成残差图像或者显著图像，生成图像本身较为模糊或者距离真实样本相差过大，影响质量评价性能。同时，辅助任务和质量评价并不是完全等同的任务，使用相同的特征会最终会限制质量评价性能，需要对不同的任务进行一定程度的解耦。


技术实现要素：

4.本发明提供了一种基于残差图像生成及多任务学习的无参考图像质量评价方法，有效提高了对不同场景的适应性，提高了评价的准确率和效率。
5.本发明的技术方案如下：
6.一种基于残差图像生成及多任务学习的无参考图像质量评价方法，包括以下步骤：s1：输入图像并进行数据预处理，得到归一化的图像和高频部分图像；s2：经过归一化的图像小块进入主干基准网络，得到主干基准网络的低层次特征以及高层次特征；s3：子任务一：以均方误差为损失函数，生成降采样后的残差图像，其中，子任务一的输入来自于灰度高频部分图像小块以及主干基准网络提取的低层次特征；s4：子任务二：以结构相似距离为损失函数，生成更精细的残差图像；s5：主任务：质量评价，生成基于场景的质量损失敏感图；s6：将子任务一与子任务二的残差图像拼接在一起，与主任务的质量损失敏感图做以元素为单位的乘法，获得感知质量损失图；s7:对感知质量损失图征做全局平均池化，预测得到质量分数。
7.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤s1中，将训练数据处理为模型需要的大小和格式，对图像数据进行采样得到图像小块。
8.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，每一个输入图像将被采样25次，每一次随机取224
×
224的图像小块，并逐一进行图像归一
化，最终的分数为25个图像小块的平均结果，归一化后的图像小块被送入主干基准网络，此外，还将图像小块灰度化，之后进一步提取图像小块的高频部分，得到25个归一化化后的图像小块及其高频部分，取灰度高频部分图像小块，送入子任务一。
9.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤s2中，低层次特征来源于主干基准网络的浅层输出特征，高层次特征来源于主干基准网络的深层次输出特征。
10.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤s3中，经过步骤s1得到的高频部分图像与步骤s2得到的低层次特征相拼接，之后输入子任务一的网络分支。
11.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，子任务一的网络分支由六层卷积网络构成，最终生成大小为56
×
56的残差图像，以及其中，六层卷积网络的卷积核大小均为3
×
3，步长为1，填充为1，前五层卷积核数量均为64，最后一层卷积核数量为1。
12.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤s4中，将步骤s3中第二层卷积层的输出特征作为子任务二的输入特征，其中，步骤s4中的残差图像获取方式与步骤s3中相同，该任务前三层卷积后的特征都会与子任务一的后三层特征做拼接，后续的卷积操作会相应通过权值来融合子任务一的特征以及本任务的上一层的输出特征。
13.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，子任务二的网络分支由四层卷积构成，最终中生成大小为56
×
56的残差图像，其中，四层卷积网络的卷积核大小均为3
×
3，步长为1，填充为1，前三层卷积核数量均为64，最后一层卷积核数量为1。
14.优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤s7中，对感知质量损失图做全局平均池化，得到全局感知质量损失程度，之后接入一个一层全链接层，对输入做线性变化，将其映射到质量分数。
15.根据本发明的技术方案，产生的有益效果是：
16.本发明方法涉及对基准网络的特征提取的处理，将浅层，低层次的特征用作后续输入，适用于低层次语义的残差图像生成，质量评价任务；将深层，高层次的特征用作主任务的拼接特征，使得质量评价任务选择性的参考高层语义信息，结合场景信息对图像质量做出评价，有效提高了模型对不同场景的适应性。
17.本发明方法涉及多任务学习特征融合策略，通过共享子任务浅层特征，拼接高层特征，既保证了各自任务相对独立，保持低耦合度，提高子任务的性能，又能有效地在主任务中融合子任务中有增益的特征。
18.本发明方法通过使用均方误差以及结构相似性损失函数训练生成残差图像，既考虑残差图像整体、极值，又考虑了结构，有效提升了生成的残差图像对质量评价辅助作用，提高了模型的准确率和效率。
19.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
20.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
21.图1为本发明的基于残差图像生成及多任务学习的无参考图像质量评价方法的流程方框图；
22.图2为本发明的基于残差图像生成及多任务学习的无参考图像质量评价方法中的网络架构图。
23.图3为本发明生成的残差图示例，用作效果展示。
具体实施方式
24.为了对本发明基于残差图像生成及多任务学习的无参考图像质量评价方法实施例的目的、技术方案和优点更加清楚，下面将结合附图，通过具体实施例对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本方面保护的范围。
25.本发明使用了额外的两个子任务逐步生成残差图像，主任务既质量评价任务拼接使用子任务特征而非直接共享参数。
26.如附图1所示，为本发明的基于残差图像生成及多任务学习的无参考图像质量评价方法的流程图，包括以下步骤：
27.s1：输入图像并进行数据预处理，得到归一化的图像和高频部分图像。将训练数据处理为模型需要的大小和格式，对图像数据进行采样得到图像小块。具体地，每一个输入图像将被采样25次，每一次随机取224
×
224的图像小块，并逐一进行图像归一化，最终的分数为25个图像小块的平均结果。归一化后的图像小块被送入主干基准网络。此外，还需要将图像小块灰度化，之后进一步提取图像小块的高频部分，得到25个归一化化后的图像小块及其高频部分，取灰度高频部分图像小块，送入子任务一。
28.s2：将经过归一化的图像小块进入主干基准网络，得到主干基准网络的低层次特征以及高层次特征，低层次特征来源于主干基准网络的浅层输出特征，高层次特征来源于主干基准网络的深层次输出特征。
29.其中，主干基准网络的高层次特征会在主任务每一层都被用做特征拼接，作为对场景信息的考虑。在其他实施例中，主干基准网络可以使用任意网络模型。其中，主干基准网络由在图像识别等领域广泛使用的残差网络(resnet-50)网络构成，其网络参数使用在网络上公开发布的权重参数，由imagenet的数据预训练得到。主干基准网络经过调整后，浅层次特征是输入图像的四分之一，也就是说，输入为224
×
224的图像小块，那么输出特征的高宽为56
×
56。
30.s3：子任务一:以均方误差为损失函数，生成降采样后的残差图像。子任务一的输入来自于灰度高频部分图像小块以及主干基准网络提取的低层次特征。经过s1得到的高频部分图像与s2得到的低层次特征相拼接，之后输入子任务一网络分支，其中，子任务一的网络分支由六层卷积网络构成，最终生成大小为56
×
56的残差图像，其中，六层卷积网络，卷积核大小均为3
×
3，步长为1，填充为1，前五层卷积核数量均为64，最后一层卷积核数量为
1。流程可见图1。训练过程以均方误差为损失函数，与真实的降采样残差图像一起作为均方误差的输入。均方误差的定义如下：
[0031][0032]
其中，xi为生成的残差图像中的第i个像素，而yi为真实的残差图像中的第i个像素。残差图像的像素总数为n，其中，真实的残差图像来源为参考图像与失真图像做差之后再归一化。
[0033]
s4：子任务二:以结构相似距离为损失函数，生成更精细的残差图像。每一个任务都会使用上一个任务的特征，具体来说，主任务会使用子任务二的特征，子任务二会使用子任务一的特征。上一个任务对当前任务有辅助作用。
[0034]
在该步骤中，将s3中第二层卷积层的输出特征作为子任务二的输入特征。其中，s4中的残差图像获取方式与s3中相同，该任务前三层卷积后的特征都会与上一步任务，既子任务一的后三层特征做拼接。根据卷积层的特征，每个通道会有单独的参数。后续的卷积操作会相应通过权值来融合子任务一的特征以及本任务的上一层的输出特征。保持了较低的耦合度的同时可以有效利用s3的特征。子任务二与子任务一的目的同为生成残差图像，耦合度较高，因此使子任务二直接使用子任务中间层的特征。子任务二的网络分支由四层卷积构成，最终生成大小为56
×
56的残差图像，其中，四层卷积网络，卷积核大小均为3
×
3，步长为1，填充为1，前三层卷积核数量均为64，最后一层卷积核数量为1。
[0035]
训练过程以结构相似性距离为损失函数。结构相似性距离定义如下:
[0036]
ssim
diff
＝1-ssim(x，y)
[0037]
其中x，y为生成的残差图像与真实的残差图像，ssim为ssim index，流程细节可见图2。具体细节如下:
[0038]
s5：主任务：质量评价，生成基于场景的质量损失敏感图。该任务由五层卷积完成，输出为28
×
28的质量损失敏感图，作为s4与s3生成的残差图的权重。残差图的目的是预测客观的失真，该步骤是将人类视觉系统更敏感的失真赋予更重要的权重。
[0039]
其中，五层卷积网络，卷积核大小均为3
×
3，第一层卷积步长为2，其余步长为1，填充为1，前四层卷积核数量均为64，最后一层卷积核数量为2。这样的设置输出的质量损失敏感图的长宽是输入的特征的二分之一。因为生成的残差图像共有两个，因此最后卷积核为2，得以与其相乘。前三层卷积卷后的特征会与上一步任务，既任务二的前三层特征做拼接，有效的利用了上一步任务的特征，为质量评价任务做辅助。前四层卷积后的特征会与主干基准网络的高层次特征做拼接。利用语义特征对场景信息进行考虑，对不同场景的质量损失敏感区域有不同的侧重。
[0040]
s6：将子任务一与子任务二的残差图像拼接在一起，与主任务的质量损失敏感图做以元素为单位的乘法，获得感知质量损失图。将子任务一与子任务二的残差图像拼接在一起，残差图像长宽为56
×
56,需要进行降采样到28
×
28，之后与主任务的质量损失敏感图做以元素为单位的乘法，得到感知质量损失图，其代表相关区域感知质量损失。
[0041]
s7:对感知质量损失图征做全局平均池化，预测得到质量分数。具体地，对s6得到的感知质量损失图做全局平均池化，得到全局感知质量损失程度，之后接入一个一层全链
egiazarian,jaakko astola,benoit vozel,kacem chehdi,marco carli,federica battisti,et al.,“image database tid2013:peculiarities,results and perspectives,”signal processing:image communication,vol.30,pp.57
–
77,2015.
[0053]
[5]sheng yang,qiuping jiang,weisi lin,and yongtao wang,“sgdnet:an end-to-end saliency-guided deep neural network for no-reference image quality assessment,”in proceedings of the 27th acm international conference on multimedia,2019,pp.1383
–
1391.
[0054]
[6]shaolin su,qingsen yan,yu zhu,cheng zhang,xin ge,jinqiu sun,and yanning zhang,“blindly assess image quality in the wild guided by a self-adaptive hyper network,”in proceedings of the ieee conference on computer vision and pattern recognition(cvpr),june 2020.