一种夜间图像质量评价方法

1.本发明涉及夜间图像处理技术领域，具体是一种夜间图像质量评价方法。


背景技术：

2.夜间图像处理技术在视频监控、智能交通等领域应用广泛。由于夜间图像是在低照度环境下拍摄出来的图像，普遍存在细节模糊、亮度低、对比度低、颜色失真等问题，导致其应用价值大打折扣。因此，研究夜间图像的质量评价模型具有非常重要的理论研究价值。另外，高效的夜间图像质量评价模型可以被应用于夜间图像增强、去雾等算法的性能评价以及优化。因此，夜间图像质量评价模型同样具有非常重要的实际应用价值。
3.由于夜间场景的特殊性和缺少公开的数据集导致目前针对夜间图像质量评价的研究还较少。夜间图像存在细节模糊、亮度低、对比度低、颜色失真等问题，需要对其质量进行评价。底层视觉特征和高层语义特征对夜间图像的质量均有影响。而目前的夜间图像算法要么只考虑了底层的视觉特征要么只考虑了高层的语义特征。需要设计一种更加符合人类感知的，预测性能更精确的夜间图像质量评价方法。


技术实现要素：

4.针对上述技术问题，本发明提出了一种夜间图像质量评价方法，本发明首先提取夜间图像的底层视觉特征和高层语义特征，然后把底层和高层特征进行聚合，采用偏最小二乘回归法(partial least squares regression,plsr)将聚合后的特征进行回归，从而得到夜间图像质量的客观评分。
5.本发明提出了一种夜间图像质量评价方法。考虑到人类视觉系统对不同尺度的图像的感知质量是不同的，首先通过下采样获取不同尺度的夜间图像，然后把原始图像和下采样后的图像序列同时送入到特征提取单元；在特征提取阶段，提取了与质量相关的两类特征：底层视觉特征和高层语义特征。底层视觉特征包括夜间图像的纹理特征和对比度特征；对于高层语义特征，首先利用深度卷积网络提取夜间图像一级高级语义特征，然后采用均值和方差两种特征函数对一级高级语义特征进行聚合，得到二级高级语义特征作为夜间图像的最终高层语义特征。接着对提取的低层特征和高层特征进行聚合。最后，采用偏最小二乘回归法将聚合后的特征进行回归，从而得到夜间图像质量的客观评分。
附图说明
6.图1为本发明图像质量评价算法的流程示意图。
具体实施方式
7.以下结合附图1进一步说明本发明的图像质量评价算法。
8.如图1所示，本发明的图像质量评价算法包含四个步骤：步骤1多尺度表示；步骤2特征提取，步骤3多层特征聚合，步骤4质量分数预测。
9.步骤1，多尺度表示。
10.把原始的夜间图像表示为i，下采样后的图像表示为is。然后把包括把is和i的图像序列送到特征提取单元进行特征提取。夜间图像的多尺度特征可以表示为，
[0011][0012]
其中，o为从原始夜间图像i提取的特征，s是从is提取的特征，是拼接运算符。
[0013]
步骤2，特征提取
[0014]
特征提取包括2.1底层视觉特征提取和2.2高层语义特征提取。
[0015]
其中，2.1底层视角特征提取进一步包括2.1.1纹理特征提取和2.2.2对比度特征提取。
[0016]
其中，2.1.1纹理特征提取指的是使用灰度共生矩阵glcm提取纹理特征来描述纹理自然性。首先计算计算灰度图像获得共生矩阵，假定夜间图像i的大小为m
×
n，glcm的定义如下：
[0017][0018]
glcm的一些统计量包括能量、对比度、同质性可以表示纹理特征。计算对应指标的公式如下：
[0019][0020][0021][0022]
其中，f
energy
表示能量，f
contrast
表示对比度，f
homogeneity
表示同质性。
[0023]
2.1.2对比度特征提取指的是使用图像的局部直方图来表示图像的局部对比度信息的变化。使用ir，ig和ib分别表示图像i的红、绿和蓝三个通道分量，i
gray
表示i的灰度图像。灰度直方图表示图像不同灰度级的频率分布。我们把灰度图像i
gray
在灰度级i的灰度直方图记为h
gray
(i)，表示i
gray
中灰度级为i的总像素数。h
gray
(i)可以表示如下：
[0024][0025]
其中x表示图像像素集合，δ表示克罗内克函数，i的范围为0～255，表示图像的灰度级。h
gray
(i)表示了图像亮度从黑到白的分布。同样，图像i的彩色直方图可以表示如下：
[0026][0027]
其中ch∈{r,g,b}表示图像的三个颜色通道。彩色直方图表示各个颜色分量的灰度级频率分布。图像i的rgb直方图可以表示为：
[0028]
[0029]
彩色直方图减去灰度直方图可以得到彩色-灰度-差异(color-gray-difference,cgd)直方图如公式(9)所示，
[0030]hcgd
(i)＝h
rgb
(i)-h
gray(i)ꢀꢀꢀ
(9)
[0031]
基于此，我们在整个图像中随机选取一组图像块，然后计算每个图像块的直方图来描述图像的局部变化。图像块的cgd直方图表示如下：
[0032][0033]
其中，矩阵h彩色-灰色-差异直方图的集合。h是一个p
×
256的矩阵，p表示图像块的个数。
[0034]
得到矩阵h后，使用主成分分析法(principal components analysis，pca)对h进行降维，具体的步骤如下：
[0035]
1)对h进行标准化处理，将h中的每个元素减去该列的平均值μj，得到一个新的矩阵
[0036]
矩阵h的列均值μj可以表示为式：
[0037][0038]
生成一个零均值的数据矩阵可以表示为：
[0039][0040]
2)计算协方差矩阵c；
[0041][0042]
3)计算c的特征值和对应的特征向量，特征值从大到小排列为λ1≥λ2≥
…
,λ
p
，依照特征值的顺序排列特征向量为w1,w2,
…wp
。
[0043]
4)选取前m个特征值，把前m个特征值对应的特征向量作为局部图像块的直方图矩阵
[0044]
夜间图像的底层特征可以表示为：
[0045][0046]
2.2高层语义特征可通过将整幅夜间图像作为去掉全连接层的resnet-50的输入来计算得到，每一幅图像提取出的一级高级特征d可以表示为：
[0047]
d＝dcnn(θ,ω)
ꢀꢀꢀ
(15)
[0048]
式中：dcnn(θ,ω)表示预训练的resnet-50网络模型，θ，ω表示预训练resnet-50的权重参数。
[0049]
对d采用均值聚合特征f1可以表示为：
[0050]
f1＝f
mean
{d}
ꢀꢀꢀ
(16)
[0051]
对d采用标准差聚合特征f2可以表示为：
[0052]
f2＝f
std
{d}
ꢀꢀꢀ
(17)
[0053]
其中，f
mean
{d}表示对d求均值，f
std
{d}表示对d求标准差。
[0054]
最终的高级语义特征可以表示为：其中，是拼接运算符。
[0055]
步骤3，多层特征提取
[0056]
底层特征和高层特征聚合在一起作为夜间图像质量评价的标准。聚合后的特征可以表示为
[0057][0058]
步骤4，把聚合后的特征f输入到偏最小二乘回归法(partial least squares regression,plsr)中进行回归，得到夜间图像质量的客观评分。
[0059]
在nnid数据库上进行算法性能的验证。采用person相关系数(pearson linear correlation coefficient,plcc)、均方根误差(root mean squared error,rmse)、spearman秩相关系数(spearman rankorder correlation coefficient,srocc)、krocc(kendall rank-order correlation coefficient，krocc)和四种评判标准衡量提出模型的预测精度和预测单调性。plcc、srocc、krocc的取值范围为[-1,1]，绝对值越接近1代表相关性越强，一致性越高。rmse的范围是[0,∞]，越接近0，表示预测的性能越好。
[0060][0061]
表1nnid数据库上的测试结果
[0062]
从表1中可以看出，对于单调性评价指标srocc和krocc，本方法在nnid库上是最高的；对于预测准确性指标plcc和resm，本方法的plcc的值是最高的，resm值是最低的。总之，提出的方法取得了不错的夜间图像质量评价结果，能够和人眼视觉的主观评价保持很好的一致性。
[0063]
对于本领域技术人员而言，上述实施方式是示意性的，而非限制性的，本发明的范围由权利要求书而不是上述实施方式限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵盖在本发明内。此外，显然“包括”一词不排除其他单元或步骤，单数不
排除复数。