一种去雾图像的质量评价方法和装置与流程

1.本发明实施例涉及计算机技术领域，尤其是一种去雾图像的质量评价方法和装置。


背景技术：

2.图像质量评价(image quality assessment,iqa)是指对图像进行特性分析研究，如清晰度、真实性等，从而评估图像质量的好坏。其在图像恢复、图像压缩、视频编解码、自动驾驶等领域均具有广泛的实用性。随着去雾算法的不断涌现，如何正确评价去雾图像的视觉质量愈发紧迫和重要。
3.目前，研究去雾图像质量评价主要存在以下难点：1)局限性：主观评价最精确可靠但是耗时耗力，无法进行实时应用，而在客观评价中，由于现实生活中清晰参考图像的缺失，全参考(full-reference,fr)和半参考(reduced-reference,rr)图像质量评价方法受到限制；2)针对性：近年来，一般图像失真类型(压缩、模糊等)的质量评价方法已经取得了很大的成功，而雾度图像与一般失真之间存在差异，随着人们对图像去雾的需求日益增长，而针对去雾图像的质量评价指标屈指可数，且仍缺少能够正确判别图像质量好坏的方法。


技术实现要素：

4.为解决上述技术问题，本发明创造的实施例提供一种去雾图像的质量评价方法，包括：
5.获取待训练的去雾样本图像，从所述去雾样本图像中提取多个雾度相关特征；
6.利用预设去雾图像初始评价模型中的多个特征提取块分别对所述多个雾度相关特征进行特征提取，并将提取的特征进行特征融合；
7.利用注意力模型对融合后的特征进行深度聚合得到聚合结果，通过基本块和全连接层对所述聚合结果进行处理输出所述去雾样本图像的评价结果；
8.利用预设的排序损失函数对所述评价结果进行反向训练直至所述预设去雾图像初始评价模型收敛，得到去雾图像的质量评价模型；
9.获取待评价的去雾图像，将所述去雾图像输入至所述去雾图像的质量评价模型，得到所述去雾图像的质量评价分数。
10.进一步地，多个特征提取块包括基本块和扩张块，所述利用预设去雾图像初始评价模型中的多个基本块和扩张块，分别对所述多个雾度相关特征进行特征提取，并将提取的特征进行特征融合，包括：
11.利用所述基本块和所述扩张块提取每个雾度相关特征并分别输出不同的尺度特征；
12.将所述扩张块输出的不同尺度特征进行融合。
13.进一步地，所述基本块包括第一基本块和第二基本块，所述扩张块包括第一扩张块、第二扩张块和第三扩张块，所述利用所述基本块和所述扩张块提取每个雾度相关特征
并分别输出不同的尺度特征，包括：
14.利用所述第一基本块对每个雾度相关特征进行特征提取得到第一雾度特征，利用第二基本块对所述第一雾度特征进行特征提取得到第二雾度特征；
15.利用设置有第一扩张率参数的第一扩张块对所述第二雾度特征进行特征提取得到每个雾度相关特征的第一尺度特征；利用设置有第二扩张率参数的第二扩张块对所述第一尺度特征进行特征提取得到每个雾度相关特征的第二尺度特征，利用设置有第三扩张率参数的第三扩张块对所述第二尺度特征进行特征提取得到每个雾度相关特征的第三尺度特征；
16.所述将所述扩张块输出的不同尺度特征进行融合，包括：
17.将每个所述第一尺度特征进行特征拼接得到第一拼接特征，将所述第一拼接特征与每个所述第二尺度特征进行拼接得到第二拼接特征，将所述第二拼接特征与每个所述第三尺度特征进行拼接得到第三拼接特征。
18.进一步地，所述利用注意力模型对融合后的特征进行深度聚合得到聚合结果，包括：
19.利用通道注意力模块对融合后的特征进行聚合得到第一聚合特征；
20.利用对比度注意力模块对融合后的特征进行聚合得到第二聚合特征；
21.将所述第一聚合特征和所述第二聚合特征进行元素相乘得到聚合结果。
22.进一步地，排序损失函数l为：
23.l＝l
rank
l1，
[0024][0025][0026]
其中，d＝-[q
pre
(xi)-q
pre
(xj)][q
gt
(xi)-q
gt
(xj)]，n是批训练样本数量；q
pre
(x)和q
gt
(x)分别表示输入图像的预测质量分数和真实参考质量分数，xi和xj是批训练图像中的索引，范围分别为[1,n-1]和[2,n]，d表示预测与真实质量差值之间的距离。
[0027]
本发明实施例提供一种去雾图像的质量评价装置，包括：
[0028]
获取模块，用于获取待训练的去雾样本图像，从所述去雾样本图像中提取多个雾度相关特征；
[0029]
处理模块，用于利用预设去雾图像初始评价模型中的多个特征提取块分别对所述多个雾度相关特征进行特征提取，并将提取的特征进行特征融合；
[0030]
所述处理模块，还用于利用注意力模型对融合后的特征进行深度聚合得到聚合结果，通过基本块和全连接层对所述聚合结果进行处理输出所述去雾样本图像的评价结果；
[0031]
所述处理模块，还用于利用预设的排序损失函数对所述评价结果进行反向训练直至所述预设去雾图像初始评价模型收敛，得到去雾图像的质量评价模型；
[0032]
执行模块，用于获取待评价的去雾图像，将所述去雾图像输入至所述去雾图像的质量评价模型，得到所述去雾图像的质量评价分数。
[0033]
进一步地，特征提取块包括基本块和扩张块，所述处理模块包括：
[0034]
第一处理子模块，用于利用基本块和扩张块提取每个雾度相关特征并分别输出不
同的尺度特征；
[0035]
第一执行子模块，用于将所述扩张块输出的不同尺度特征进行融合。
[0036]
进一步地，所述基本块包括第一基本块和第二基本块，所述扩张块包括第一扩张块、第二扩张块和第三扩张块，所述第一执行子模块包括：
[0037]
第三处理子模块，用于利用所述第一基本块对每个雾度相关特征进行特征提取得到第一雾度特征，利用第二基本块对所述第一雾度特征进行特征提取得到第二雾度特征；
[0038]
第四处理子模块，用于利用设置有第一扩张率参数的第一扩张块对所述第二雾度特征进行特征提取得到每个雾度相关特征的第一尺度特征；利用设置有第二扩张率参数的第二扩张块对所述第一尺度特征进行特征提取得到每个雾度相关特征的第二尺度特征，利用设置有第三扩张率参数的第三扩张块对所述第二尺度特征进行特征提取得到每个雾度相关特征的第三尺度特征；
[0039]
第二执行子模块，用于将每个所述第一尺度特征进行特征拼接得到第一拼接特征，将所述第一拼接特征与每个所述第二尺度特征进行拼接得到第二拼接特征，将所述第二拼接特征与每个所述第三尺度特征进行拼接得到第三拼接特征。
[0040]
进一步地，所述处理模块还包括：
[0041]
第一获取子模块，用于利用通道注意力模块对融合后的特征进行聚合得到第一聚合特征；
[0042]
第二获取子模块，用于利用对比度注意力模块对融合后的特征进行聚合得到第二聚合特征；
[0043]
第三执行子模块，用于将所述第一聚合特征和所述第二聚合特征进行元素相乘得到聚合结果。
[0044]
进一步地，排序损失函数l为：
[0045]
l＝l
rank
l1，
[0046][0047][0048]
其中，d＝-[q
pre
(xi)-q
pre
(xj)][q
gt
(xi)-q
gt
(xj)]，n是批训练样本数量；q
pre
(x)和q
gt
(x)分别表示输入图像的预测质量分数和真实参考质量分数，xi和xj是批训练图像中的索引，范围分别为[1,n-1]和[2,n]，d表示预测与真实质量差值之间的距离。
[0049]
本发明实施例的有益效果是：本发明实施例提出的去雾图像质量评价方法基于深度学习，可使训练更加高效可靠，针对去雾图像，选取多种雾度相关的特征(图像深度、标准差、暗通道、边缘、对比度)并与注意力机制相结合，提出了一种新的特征融合模型，使网络充分学习到不同尺度下的特征，从而更全面地利用特征信息；考虑到人类视觉系统的对比度敏感性，还有图像对比度与去雾失真之间的高相关性，本发明实施例使用对比度注意力模块，使网络集中注意敏感和失真的区域，从而提升模型效率和精确度；此外，本发明提出了的排序损失函数可以增强结果的鲁棒性。
附图说明
[0050]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0051]
图1为本发明实施例提供的一种去雾图像的质量评价方法流程示意图；
[0052]
图2为本发明实施例提供的一种去雾图像的质量评价方法应用的网络框架示意图；
[0053]
图3为本发明实施例提供的利用注意力模型对经过多尺度融合后的特征进行深度聚合得到聚合结果的流程示意图；
[0054]
图4为本发明实施例提供的不同iqa方法在真实数据集(exbedde)上的实验结果对比图；
[0055]
图5为本发明实施例提供的不同iqa方法在合成数据集(shrq)上的实验结果对比图；
[0056]
图6为本发明实施例提供的一种去雾图像的质量评价装置的结构示意图。
具体实施方式
[0057]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0058]
如图1所示，本实施例提供一种去雾图像的质量评价方法，包括：
[0059]
s1、获取待训练的去雾样本图像，从所述去雾样本图像中提取多个雾度相关特征；
[0060]
需要说明的是待训练的去雾样本图像选用大小相同的彩色去雾图像。其中，雾度相关特征包括：深度、标准差、暗通道、边缘和对比度。需要说明的是，去雾样本图像在训练前需对去雾图像进行预处理，例如可以选取任意大小的去雾图像进行随机裁剪操作使得每幅去雾图像具有相同的尺寸大小，例如，h*w为320*640。
[0061]
s2、利用预设去雾图像初始评价模型中的多个特征提取块分别对所述多个雾度相关特征进行特征提取，并将提取的特征进行特征融合；
[0062]
去雾图像初始评价模型采用dhiqa网络模型，优选地，基本块包括两个，每个基本块用于对雾度相关特征进行特征提取，其中，两个基本块的处理核大小不同。需要说明的是，基本块包括：卷积层(conv)、加速训练层(batch norm)、激活函数层(leaky rulu)、最大池化层(max pool)和模糊池化层(blur pool)。其中，加速训练层是batch norm(全称为batch normalization)批标准化；leaky relu是一种激活函数。
[0063]
s3、利用注意力模型对融合后的特征进行深度聚合得到聚合结果，通过基本块和全连接层对所述聚合结果进行处理输出所述去雾样本图像的评价结果；
[0064]
本发明实施例中，注意力模型包含两种，一种是多通道注意力模块，另一种是对比度注意力模块，其中，多通道注意力模块采用se(squeeze-and-excitation)网络模型学习不同通道之间的相互依赖关系，自动调节各通道的特征响应值；对比度注意力模块使得iqa(图像质量评价，image quality assessment)网络模型聚焦于对人类视觉系统最敏感的区域。
[0065]
s4、利用预设的排序损失函数对所述评价结果进行反向训练直至所述预设去雾图像初始评价模型收敛，得到去雾图像的质量评价模型；
[0066]
本发明实施例中，排序损失函数l为：
[0067]
l＝l
rank
l1，
[0068][0069][0070]
其中，d＝-[q
ptr
(xi)-q
pre
(xj)][q
gt
(xi)-q
gt
(xj)]，n是批训练样本数量；q
pre
(x)和q
gt
(x)分别表示输入图像的预测质量分数和真实参考质量分数，xi和xj是批训练图像中的索引，范围分别为[1,n-1]和[2,n]，d表示预测与真实质量差值之间的距离。
[0071]
需要说明的是，当预测排名与真实排名一致时，损失值为零(d
ij
＝0)不参与反向传播，反之，若排名不一致时，距离d的值将作为排序损失值传入网络中。上述排序损失函数的设计不仅可以反馈排名的不一致性，而且可以反馈出被测图像对的预测与真实质量差距之间的距离。通过结合上述两个损失函数l
rank
和l1，不仅考虑到测试图像的绝对质量分数，还考虑到了图像之间的排序关系。
[0072]
s5、获取待评价的去雾图像，将所述去雾图像输入至所述去雾图像的质量评价模型，得到所述去雾图像的质量评价分数。
[0073]
本发明实施例提出的去雾图像质量评价方法基于深度学习，可使训练更加高效可靠，针对去雾图像，选取多种雾度相关的特征(图像深度、标准差、暗通道、边缘、对比度)并与注意力机制相结合，提出了一种新的特征融合模型，使网络充分学习到不同尺度下的特征，从而更全面地利用特征信息；考虑到人类视觉系统的对比度敏感性，还有图像对比度与去雾失真之间的高相关性，本发明实施例使用对比度注意力模块，使网络集中注意敏感和失真的区域，从而提升模型效率和精确度；此外，本发明提出了的排序损失函数可以增强结果的鲁棒性。
[0074]
本发明的一个实施例，如图2所示，图2为本发明实施例提供的利用预设去雾图像初始评价模型中的多个特征提取块分别对所述多个雾度相关特征进行特征提取，并将提取的特征进行特征融合，包括：
[0075]
s22、利用所述基本块和所述特征块提取每个雾度相关特征并分别输出不同的尺度特征；
[0076]
本实施例中，多个特征提取块包括基本块和扩张块，所述基本块包括第一基本块和第二基本块，所述扩张块包括第一扩张块、第二扩张块和第三扩张块其中，基本块和扩张块的处理核大小不同，每个基本块用于多雾度相关特征进行特征提取，其中，每个基本块包括卷积层(conv)、加速训练层(batch norm)、激活函数层(leaky rulu)、最大池化层(max pool)和模糊池化层(blur pool)。扩张块包含有conv和激活relu组成，通过设置conv的扩张率参数，实现多尺度信息的提取。
[0077]
本发明的一个实施例，如图2所示，在提取五种雾度相关特征后第一扩张块分别输出特征第二扩张块输出特征第三扩张块输出特征
其中，第一扩张块、第二扩张块和第三扩张块的扩张率不同，则去雾样本图像的感受野不同，可取分别提取出不同尺度的特征信息。本发明实施例为了解决多尺度特征提取任务中，上采样和池化过程的内部数据结构、空间层次信息丢失而无法重构小目标信息的问题，本发明实施例中的扩张块使用三种不同扩张率的扩张卷积，提取特征的多尺度信息。
[0078]
s22、将所述基本块和扩张块输出的不同尺度特征进行融合。
[0079]
具体地，步骤s22包含以下步骤：
[0080]
s221、利用所述第一基本块对每个雾度相关特征进行特征提取得到第一雾度特征，利用第二基本块对所述第一雾度特征进行特征提取得到第二雾度特征；
[0081]
s222、利用设置有第一扩张率参数的第一扩张块对所述第二雾度特征进行特征提取得到每个雾度相关特征的第一尺度特征；利用设置有第二扩张率参数的第二扩张块对所述第一尺度特征进行特征提取得到每个雾度相关特征的第二尺度特征，利用设置有第三扩张率参数的第三扩张块对所述第二尺度特征进行特征提取得到每个雾度相关特征的第三尺度特征；
[0082]
s223、将每个所述第一尺度特征进行特征拼接得到第一拼接特征，将所述第一拼接特征与每个所述第二尺度特征进行拼接得到第二拼接特征，将所述第二拼接特征与每个所述第三尺度特征进行拼接得到第三拼接特征。
[0083]
如图2所示，为第一扩张块输出的5个雾度相关特征的第一尺度特征，将与x1进行特征拼接，得到第一拼接特征f1。
[0084]
为第二扩张块输出的5个雾度相关特征的第二尺度特征，将第一拼接特征f1与进行特征拼接，得到第二拼接特征f2。
[0085]
为第三扩张块输出的5个雾度相关特征的第三尺度特征，将第二拼接特征f2与进行特征拼接得到第三拼接特征f3。
[0086]
本发明实施例还提供一种利用注意力模型对融合后的特征进行深度聚合得到聚合结果的方法，包括：
[0087]
s31、利用通道注意力模块对融合后的特征进行聚合得到第一聚合特征；
[0088]
如图3所示，本发明实施例中，融合后的特征为图2中进行聚合拼接后得到的第三拼接特征f3，将该特征输出至多通道注意力特征模型中捕获上下文信息集中学习感兴趣的区域，对特征进行深层聚合，得到第一聚合特征。如图3，本实施例中，输入第三拼接特征f3：c*h*w，通过平均池化操作得到：c*1*1，经过conv—relu—conv—sigmoid，学习到不同通道之间的权重大小，并将得到的权重与原始输入特征c*h*w相乘得到所需的第一聚合特征。其中，本发明实施例中，多通道注意力模块采用se(squeeze-and-excitation)网络模型学习不同通道之间的相互依赖关系，自动调节各通道的特征响应值。
[0089]
s32、利用对比度注意力模块对融合后的特征进行聚合得到第二聚合特征；
[0090]
s33、将所述第一聚合特征和所述第二聚合特征进行元素相乘得到聚合结果。
[0091]
本发明实施例中，对比度注意力模块使得iqa网络模型聚焦于对人类视觉系统最
敏感的区域。利用对比度注意力模块进行特征聚合得到第二聚合特征，如图3所示，将第一聚合特征和第二聚合特征元素相乘输出聚合结果。
[0092]
本发明实施例，自得到去雾图像的质量评价模型后，可以对待评价的去雾图像进行评价，最终输出相应的质量评价分数。针对去雾图像的质量评价模型，进行了实验，如图4和图5所示的表1和表2。可知两个表中的三种比率表示训练集和测试集之间的不同占比，根据结果对比可以得出以下结论：
[0093]
1、不管在真实的还是合成的去雾图像数据集中，iqa方法主要由三种评估指标评判：斯皮尔曼秩相关系数(srcc:spearman rank-order correlation coefficient)、皮尔森线性相关系数(plcc:pearson linear correlation coefficient)、均方根误差(rmse:root mean squared error)，本发明的方法在三种指标上都明显优于其他无参考(no-reference,nr)iqa方法，说明dhiqa不仅更符合人类的视觉感知，而且是一种强有力的去雾评价标准。
[0094]
2、合成的有雾图像再经过去雾算法进行处理，其结果与真实场景的图像还是有一定的差异，本发明提出的dhiqa方法在两种数据集上都表现出优越的性能，这意味着该模型的泛化能力强，可以有效应用于多种数据集，有利于用户使用。
[0095]
因此，本发明实施例与传统机器学习方法(如brisque、bmpri和dhqi)相比，多尺度提取特征可以学习到更加全面地图像信息，经过深度学习网络训练使得结果更精确可信；本发明提出的对比度注意力机制，充分利用人类视觉系统的对比灵敏度重要性，使网络聚焦于敏感区域，提升网络计算效率；本发明提出的排序损失函数，利用存在于图像之间的排序特点，可以帮助网络模型降低错误率，从而提升模型性能。
[0096]
本发明实施例还提供一种去雾图像的质量评价装置，如图6所示，包括：获取模块2100、处理模块2200和执行模块2300；其中，获取模块，用于获取待训练的去雾样本图像，从所述去雾样本图像中提取多个雾度相关特征；处理模块，用于利用预设去雾图像初始评价模型中的多个特征提取块分别对所述多个雾度相关特征进行特征提取，并将提取的特征进行特征融合；所述处理模块，还用于利用注意力模型对融合后的特征进行深度聚合得到聚合结果，通过基本块和全连接层对所述聚合结果进行处理输出所述去雾样本图像的评价结果；所述处理模块，还用于利用预设的排序损失函数对所述评价结果进行反向训练直至所述预设去雾图像初始评价模型收敛，得到去雾图像的质量评价模型；执行模块，用于获取待评价的去雾图像，将所述去雾图像输入至所述去雾图像的质量评价模型，得到所述去雾图像的质量评价分数。
[0097]
本发明实施例提出的去雾图像质量评价方法基于深度学习，可使训练更加高效可靠，针对去雾图像，选取多种雾度相关的特征(图像深度、标准差、暗通道、边缘、对比度)并与注意力机制相结合，提出了一种新的特征融合模型，使网络充分学习到不同尺度下的特征，从而更全面地利用特征信息；考虑到人类视觉系统的对比度敏感性，还有图像对比度与去雾失真之间的高相关性，本发明实施例使用对比度注意力模块，使网络集中注意敏感和失真的区域，从而提升模型效率和精确度；此外，本发明提出了的排序损失函数可以增强结果的鲁棒性。
[0098]
在一些实施方式中，多个特征提取块包括基本块和扩张块，所述处理模块包括：第一处理子模块，用于利用基本块和扩张块提取每个雾度相关特征并分别输出不同的尺度特
征；第一执行子模块，用于将所述基本块和所述扩张块输出的不同尺度特征进行融合。
[0099]
在一些实施方式中，基本块包括第一基本块和第二基本块，所述扩张块包括第一扩张块、第二扩张块和第三扩张块；所述第一执行子模块包括：第三处理子模块，用于利用所述第一基本块对每个雾度相关特征进行特征提取得到第一雾度特征，利用第二基本块对所述第一雾度特征进行特征提取得到第二雾度特征；第四处理子模块，用于利用设置有第一扩张率参数的第一扩张块对所述第二雾度特征进行特征提取得到每个雾度相关特征的第一尺度特征；利用设置有第二扩张率参数的第二扩张块对所述第一尺度特征进行特征提取得到每个雾度相关特征的第二尺度特征，利用设置有第三扩张率参数的第三扩张块对所述第二尺度特征进行特征提取得到每个雾度相关特征的第三尺度特征；第二执行子模块，用于将每个所述第一尺度特征进行特征拼接得到第一拼接特征，将所述第一拼接特征与每个所述第二尺度特征进行拼接得到第二拼接特征，将所述第二拼接特征与每个所述第三尺度特征进行拼接得到第三拼接特征。
[0100]
在一些实施方式中，所述处理模块还包括：第一获取子模块，用于利用通道注意力模块对融合后的特征进行聚合得到第一聚合特征；第二获取子模块，用于利用对比度注意力模块对融合后的特征进行聚合得到第二聚合特征；第三执行子模块，用于将所述第一聚合特征和所述第二聚合特征进行元素相乘得到聚合结果。
[0101]
在一些实施方式中，排序损失函数l为：l＝l
rank
l1，
[0102][0103][0104]
其中，d＝-[q
pre
(xi)-q
pre
(xj)][q
gt
(xi)-q
gt
(xj)]，n是批训练样本数量；q
pre
(x)和q
gt
(x)分别表示输入图像的预测质量分数和真实参考质量分数，xi和xj是批训练图像中的索引，范围分别为[1,n-1]和[2,n]，d表示预测与真实质量差值之间的距离。
[0105]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0106]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0107]
以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。