基于图像语义信息的增量学习无参考图像质量评价方法

1.本发明涉及图像处理技术领域，具体是基于图像语义信息的增量学习无参考图像质量评价方法。


背景技术：

2.图像质量评价的方法主要有主观质量评价和客观质量评价。主观质量评价是指根据人类主观意志判别图像视觉质量，客观质量评价是指通过客观算法自动计算图像的视觉质量。根据计算图像视觉质量时是否需要参考图像的信息，客观质量评价可分成三类：全参考质量评价(fr-iqa)、半参考质量评价(rr-iqa)和无参考质量评价(nr-iqa)。fr-iqa算法和rr-iqa算法主要通过对图像的视觉特征进行分析，量化参考图像和失真图像之间的差异，计算失真图像的视觉质量。相对于fr-iqa算法和rr-iqa算法，nr-iqa算法在计算失真图像的视觉质量时不需要任何参考图像的信息，在实际应用系统中具有更广泛的应用前景。
3.为了满足实际应用，nr-iqa算法已经从单一场景或者特定失真逐渐向通用型发展。在整个nr-iqa算法发展的过程中，因为不同场景的图像失真类型的复杂性和失真图像内容的多样性，势必会产生跨场景失真现象。跨场景失真现象主要表现为nr-iqa模型在不同的失真场景中表现出泛化能力的下降。文章“metaiqa:deep meta-learning forno-reference image quality assessment”中提出学习不同失真图像中共享先验知识，再由未知失真类型的图像微调模型。此方法是一个通用型图像质量评价方法，由于真实失真场景的图像失真类型的复杂性和图像内容的多样性，未知失真图像会对共享的先验知识产生负优化，以致模型的性能大幅降低，引发灾难性遗忘的问题；在人类视觉系统自顶向下的模型中，人类在进行图像任务之前会尝试理解图像。而此模型共享的元知识是图像的失真类型的特征与图像质量的内在关系，缺少图像深层语义特征对图像质量的表达。因此在进行质量评价时，图像的深层语义信息也应该考虑。文章“uncertainty-aware blindimage quality assessment in the laboratory and wild”中提出了一种联合学习的方法，在六大图像质量评价数据集的组合上训练同一个模型，以人类主观意见模仿人类进行图像质量过程中的不确定性，更加符合人类视觉感知。但是这类算法仍然存在以下弊端： 1)数据集组合训练同一个模型，所需计算资源以及存储空间巨大，在实际应用中模型难以部署；2)在数据集缺失或是增添，需要耗费时间重新训练模型；这些不足会影响图像质量评价的速度，限制了实际应用。
4.目前，现有的软硬件的条件限制使得图像在收集、传输以及储存的过程中引入噪声，造成图像质量的退化，无法获取完整的信息，因此，针对以上现状，迫切需要开发基于图像语义信息的增量学习无参考图像质量评价方法，以克服当前实际应用中的不足。


技术实现要素：

5.本发明的目的在于提供基于图像语义信息的增量学习无参考图像质量评价方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：
7.基于图像语义信息的增量学习无参考图像质量评价方法，包括以下步骤：
8.步骤1，划分增量任务集，将训练集随机选取部分图像作为一次增量学习数据，构建增量学习数据集；
9.步骤2，将步骤1划分的增量任务集输入到特征提取网络中，提取失真图像的多尺度失真特征和全局语义特征；
10.步骤3，将步骤2中提取到的全局语义特征输入到混合注意力模块中，输出为带有空间信息的显著语义特征；
11.步骤4，将步骤3中获取到的带有空间信息的显著语义特征与多尺度失真特征使用早融合的方式融合，得到带有显著性语义的融合特征；
12.步骤5，将步骤4中得到深度融合特征输入到回归网络中，得到本次增量学习图像的预测得分；
13.步骤6，使用知识蒸馏的方式将步骤5中回归网络学习到的知识迁移到学生网络；
14.步骤7，使用学生网络对下一次增量任务的部分图像数据做出质量分数预测，再将这部分数据与剩余的图像共同送入特征提取网络中进行增量训练。
15.与现有技术相比，本发明的有益效果是：
16.该方法遵循人类视觉系统中自上而下感知模型，将图像深层的显著性语义特征和多尺度失真特征相结合，以增量学习的方式训练模型，增强了模型对不同场景失真图像的鲁棒性；该方法选取模型不同感受野提取的特征，同时兼顾到图像复杂的失真类型；因此在跨场景失真图像质量评价的过程中，取得了与人眼感知一致的效果；与此同时，使用知识蒸馏保存着旧场景的先验知识，有效的克制了增量训练过程中遇到的灾难性遗忘问题，提高了模型对不同场景失真图像质量的表达能力。
附图说明
17.图1为本发明实施例中基于图像语义信息的增量学习无参考图像质量评价方法的流程图。
18.图2为本发明实施例中基于图像语义信息的增量学习无参考图像质量评价方法的增量训练流程图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.以下结合具体实施例对本发明的具体实现进行详细描述。
21.本技术提出基于图像语义信息的增量学习无参考图像质量评价方法具体流程，如图1 和图2所示，具体操作步骤如下：
22.步骤1：数据集的划分，随机选取数据集80％的数据作为训练集，余下20％的数据为验证集。将训练集按照失真类型划分不同的增量训练任务。每次进行增量训练时选取一
个增量任务作为模型的输入。
23.步骤2：把输入的失真图像进行数据增强(包括并不止随机水平翻转、随机裁剪、归一化等)，将预处理后的失真图像输入特征提取网络中，提取失真图像的多尺度特征；通常多尺度特征分为低维特征和高维特征，低维特征的感受野小，其表达的是图像结构、纹理等空间信息，高维特征感受野大，其代表的是图像的语义信息，因此选取图像的多尺度特征与更贴近人类视觉感知。其中多尺度失真特征为：
[0024][0025]
式中：vi代表不同尺度的失真特征，其中i∈[1，4]；
[0026]
代表resnet50模型，x是输入图像，γ为resnet50网络在imagenet数据集中预训练得到的权重参数。
[0027]
步骤3：将步骤2中提取到的高维语义特征输入到混合注意力模块中，高维语义特征先经过通道注意力模块，提取到显著语义特征，在经过空间注意力模块获取显著语义特征的空间信息。经过混合注意力模块处理后的特征，筛选出与图像质量评价任务弱相关的失真特征，有效的减小特征尺度。其中显著性语义特征为：
[0028]vs
＝h(vf，θ)
[0029]
式中：vs代表语义显著特征，h()表示混合注意力模块，vf是全局语义特征，θ表示混合注意力模块在提取显著性语义特征时的权重参数。
[0030]
步骤4：将步骤2中提取到的多尺度失真特征和步骤3的显著性语义特征经过卷积核为1 的卷积层进行特征对齐，再将对齐后的特征进行拼接，得到深度融合特征：
[0031]
v＝concat(vi，vs)
[0032]
式中：vi代表特征提取网络提取到的不同层次的失真特征，vs表示显著性语义特征， concat()是特征拼接运算。
[0033]
步骤5：将步骤4中融合后的特征输入知识蒸馏网络，其中知识蒸馏网络可以分为教师网络和学生网络；教师网络主要用来学习新知识，并对图像质量进行评价，其由四层全连接层组成，由l1损失函数进行约束；学生网络同样由四层全连接层组成，主要用来保存旧得先验知识，由蒸馏损失约束模型的训练。其中学生网络是通过对部分新增量数据打上为标签的方式，参与到教师网络的训练过程中的。
[0034]
步骤5中损失函数具体公式分别为：
[0035]
l1损失函数具体公式为：
[0036][0037]
其中v(xi)是图像的不同尺度的失真特征，s(xi)代表图像的深层语义特征，n为图像分块数，xi、qi分别为第i次训练图像块和图像的mos值。
[0038]
蒸馏损失函数ld具体公式为：
[0039][0040]
其中，y
i’表示旧增量任务模型的输出，yi表示新增量任务模型的输出。
[0041]
在本技术中，总的损失函数loss具体公式：
[0042]
loss＝l1 λld[0043]
其中，l1为l1损失函数，ld为蒸馏损失，λ为控制可塑性和稳定性之间的权衡。可塑性代表增量学习模型对新知识的学习能力，稳定性代表增量学习模型对旧知识的保持能力。
[0044]
步骤6：使用步骤5中训练的学生网络为部分新增量任务数据打上伪标签，然后将带有伪标签的新增量任务数据和余下的新增量任务数据一同输入到模型中，由教师网络学习其特征与图像质量之间的映射关系，并为失真图像质量做出评价，最后重复增量训练任务。
[0045]
本技术是基于图像语义信息的增量学习无参考图像质量评价方法研究，主要是为了应对图像跨场景失真的挑战，构建一个具有强鲁棒性、高准确度的且与人类感知相符的图像质量评价模型。现如今，无参考图像质量评价多集中对图像复杂失真类型的研究，缺乏对人类视觉感知的考虑；本技术提出了一种基于图像语义信息的增量学习无参考图像质量评价方法，从人类视觉感知相关的图像语义方面入手，结合图像多尺度失真特征共同作为图像质量的描述符，对失真图像质量做出预测，不仅可以应对图像复杂的失真类型而且适应复杂多变的应用场景。
[0046]
需要说明的是，在本发明中，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。