基于通道注意力的无参考型图像质量评价方法

1.本发明属于图像处理技术领域，涉及基于通道注意力的无参考型图像质量评价方法。


背景技术：

2.随着多媒体、图像处理以及通信技术的飞速发展，数字图像作为最直观有效的一种信息载体之一，传递着重要的视觉信号，并广泛应用于生活的各个方面。然而图像在采集、压缩、存储、传输过程中由于不可避免的因素，造成图像失真导致图像质量下降，如：拍摄抖动，曝光不均等问题都会造成图像质量退化。图像质量对人类视觉信息的获取影响很大，若图像质量较低不仅会影响观感效果而且不能准确捕获有用信息。因此，在获取图像的各个阶段能有效地评价输出图像的视觉感知质量具有非常重大的意义。
3.图像质量评价分为全参考型、半参考型与无参考型，其中全参考与半参考都需要参考图像的参与，无参考型直接对失真图像进行处理。由于在现实生活中很难找到参考图像，近年来，无参考型图像质量评价成为研究的热点，很多的研究者都在研究这个技术。目前，大多数现有的方法都是采用深度学习的图像质量评价框架，文献(kang l,ye p,li y,et al.convolutional neural networks for no-reference image quality assessment[c]//proceedings of the ieee conference on computer vision and pattern recognition.2014:1733-1740.)首次将卷积神经网络运用到无参考图像质量评价中，在该模型中只使用了简单的卷积与池化操作。基于此无参考图像质量评价快速发展。文献(bosse s,maniry d,m
ü
ller k r,et al.deep neural networks for no-reference and full-reference image quality assessment[j].ieee transactions on image processing,2017,27(1):206-219.)提出了端到端的图像质量评价方法，将失真图像输入到卷积神经网络中提取相关特征并映射到质量评价网络中进行质量预测，该模型通过微小调整可以用于全参考质量评价。为了解决数据集有限的问题，文献(liu x,van de weijer j,bagdanov a d.rankiqa:learning from rankings for no-reference image quality assessment[c]//proceedings of the ieee international conference on computer vision.2017:1040-1049.)使用孪生网络对合成失真图像进行排序，扩充数据集，并将训练好的孪生网络迁移到cnn中进行质量预测。与全参考型质量评价相比无参考图像质量评价所面临的一个挑战是缺乏参考图像作对比，因此有研究者将全参考的思想引入到无参考质量评价中。文献(lin k y,wang g.hallucinated-iqa:no-reference image quality assessment via adversarial learning[c]//proceedings of the ieee conference on computer vision and pattern recognition.2018:732-741.)通过生成对抗网络生成失真图像的伪参考图像作为参考图像，随后将伪参考图像与失真图像进行配对，传入到卷积神经网络中学习感知差异，从而达到较为准确的质量预测。文献(ma y,cai x,sun f,et al.no-reference image quality assessment based on multi-task generative adversarial network[j].ieee access,2019,7:146893-146902.)提出一种基于多任务生
成对抗网络的无参考图像的同时生成质量图，并结合具体的损失函数来提高伪参考图像的准确性，从而实现较为准确的预测。
[0004]
目前，大部分基于深度学习的无参考图像质量评价直接对失真图像进行相关处理，没有考虑人眼视觉特性与失真不均匀性。在现实生活中，人眼在观察图像时会把注意力放在显著性区域，从而在该区域赋予较大的权重。而这些方法忽略了视觉特性与失真不均匀性，从而导致预测结果与主观分数有些差异。


技术实现要素：

[0005]
本发明的目的是提供一种基于通道注意力的无参考型图像质量评价方法，解决了现有技术中存在的失真图像质量预测精度低的问题。
[0006]
本发明所采用的技术方案是，基于通道注意力的无参考型图像质量评价方法，包括以下步骤：
[0007]
步骤1、将图像输入resnet50网络中，分别通过resnet50网络的layer1-4层进行特征提取，得到四个特征；
[0008]
步骤2、将每个特征分别输入通道注意力层，获取图像的受关注区域特征；
[0009]
步骤3、将每个受关注区域特征输入到特征增强模块，得到增强特征；
[0010]
步骤4、将四个增强特征进行融合，经过融合特征；
[0011]
步骤5、将融合特征输入到质量预测网络中进行质量预测，得到预测结果。
[0012]
本发明的特点还在于：
[0013]
步骤1中的特征fi通过下式进行提取：
[0014]fi
＝f(wi*x)
ꢀꢀꢀ
(1)；
[0015]
上式中，x表示输入图像，wi表示每层网络的整体参数，f(
·
)表示对图像进行特征提取。
[0016]
步骤2具体包括以下步骤：
[0017]
步骤2.1、对特征fi进行全局池化操作，得到聚合空间信息f
avg
：
[0018]favg
＝avgpool(fi)
ꢀꢀꢀ
(2)；
[0019]
上式中，avgpool表示全局平均池化操作；
[0020]
步骤2.2、利用1*1的卷积对f
avg
进行降维与升维处理，并通过激活函数得到通道注意力权重系数m：
[0021]
m＝σ(w1(w0(f
avg
)))
ꢀꢀꢀ
(3)；
[0022]
上式中，w0、w1表示降维与升维时的权重参数，σ为sigmoid激活函数；
[0023]
步骤2.3、将权重系数m与特征fi进行叠加，得到受关注区域特征fi′
：
[0024][0025]
步骤3具体包括以下步骤：
[0026]
步骤3.1、将每个受关注区域特征fi′
分别进行多尺度池化操作，得到多尺度特征，并将每个多尺度特征进行融合得到多尺度信息流
[0027]
步骤3.2，对多尺度信息流进行1*1与3*3的卷积操作，并通过激活函数得到
增强矩阵me：
[0028][0029]
上式中，w2、w3表示1*1与3*3卷积的权重参数，σ为sigmoid激活函数；
[0030]
步骤3.3，将每个受关注区域特征fi′
分别与增强矩阵进行叠加，得到增强特征fi″
：
[0031][0032]
步骤5中采用回归网络进行质量预测，质量预测网络由四层全连接层组成。
[0033]
本发明的有益效果是：本发明基于通道注意力的无参考型图像质量评价方法，通过注意力机制使其获取受关注区域特征，满足人眼视觉感受；通过特征融合模块将低层特征与高层特征有效结合起来，在表征全局信息的同时加强细节信息，获取多尺度信息，实现高精度预测。
附图说明
[0034]
图1是本发明基于通道注意力的无参考型图像质量评价方法的流程图。
具体实施方式
[0035]
下面结合附图和具体实施方式对本发明进行详细说明。
[0036]
基于通道注意力的无参考型图像质量评价方法，包括以下步骤：
[0037]
步骤1、对数据库中的图像进行预处理保持统一尺寸，将预处理后的图像输入resnet50网络中，分别通过resnet50网络的layer1-4层进行特征提取，得到多层次特征fi，特征提取方法如下：
[0038]fi
＝f(wi*x)
ꢀꢀꢀ
(1)；
[0039]
上式中，x表示输入图像，wi表示每层网络的整体参数，f(
·
)表示对图像进行特征提取。
[0040]
传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还会导致梯度消失或者梯度爆炸，在训练网络时不能很好的达到训练效果。本发明采用的resnet网络在一定程度上解决了这个问题，将输入信息通过残差网络传到输出，保护信息的完整性，简化学习目标和难度。通过预训练初始化网络参数，将预处理后的数据库中图像输入到resnet网络中，其中，resnet网络使用步长为2的卷积层进行下采样，并且使用全局平均池化代替全连接层；同时resnet网络提取特征时，当特征图的尺寸降低一半其特征图的数量将会增加一倍，保持了网络的复杂度。
[0041]
步骤2、将每个特征分别输入通道注意力层，获取图像的受关注区域特征；在resnet50网络layer1-4层中添加通道注意力机制(即将resnet50网络layer1-4层的输出输入至通道注意力层)，获取图像的感兴趣区域。利用通道注意力建模出不同通道之间的相关性，通过网络学习的方式来自动获取到每个特征通道的重要程度，为每个通道赋予不同的权重系数，从而来强化受关注区域特征。
[0042]
步骤2.1、对每个特征fi进行全局池化操作，得到聚合空间信息f
avg
：
[0043]favg
＝avgpool(fi)
ꢀꢀꢀ
(2)；
[0044]
上式中，avgpool表示全局平均池化操作；
[0045]
步骤2.2、利用1*1的卷积对f
avg
进行降维与升维处理，并通过激活函数得到通道注意力权重系数m：
[0046]
m＝σ(w1(w0(f
avg
)))
ꢀꢀꢀ
(3)；
[0047]
上式中，w0、w1表示降维与升维时的权重参数，σ为sigmoid激活函数；
[0048]
步骤2.3、将权重系数m与特征fi进行叠加，得到受关注区域特征fi′
([f1′
,f2′
,f3′
,f4′
])：
[0049][0050]
步骤3、将每个受关注区域特征输入到特征增强模块，得到增强特征；
[0051]
步骤3.1、将每个受关注区域特征fi′
分别进行多尺度池化操作，池化操作由感受野分别为3*3、5*5、和7*7的池化层组成，得到多尺度特征，并对每个多尺度特征进行融合得到多尺度信息流
[0052]
步骤3.2，对多尺度信息流进行1*1与3*3的卷积操作，并通过激活函数得到增强矩阵me：
[0053][0054]
上式中，w2、w3表示1*1与3*3卷积的权重参数，σ为sigmoid激活函数；
[0055]
步骤3.3，将每个受关注区域特征fi′
分别与增强矩阵进行叠加，得到增强特征fi″
：
[0056][0057]
步骤4、将四个增强特征进行融合，经过融合后特征为c(fi″
)。在resnet50网络中低层网络的感受野较小，细节信息表征能力强，但全局信息表征能力弱；高层网络的感受野较大，全局信息表征能力强，几何细节信息表征能力弱。将从layer1-4中获取的增强特征进行融合，从而有效将低层次特征与高层次特征结合起来，在表征全局信息的同时加强细节信息，获取信息多样性，经过融合后的特征为c(fi″
)。
[0058]
步骤5、将融合特征c(fi″
)输入到质量预测网络中进行质量预测，得到预测结果。采用回归网络进行质量预测，质量预测网络由四层全连接层组成，，并且以融合后的特征c(fi″
)作为网络输入，经过回归训练预测失真图像质量分数。
[0059]
通过以上方式，本发明基于通道注意力的无参考型图像质量评价方法，通过注意力机制使其获取受关注区域特征，满足人眼视觉感受；通过特征融合模块将低层特征与高层特征有效结合起来，在表征全局信息的同时加强细节信息，获取多尺度信息，实现高精度预测。