一种夜间图像质量评价方法

技术特征：
1.一种夜间图像质量评价方法，包括：步骤1，多尺度表示，把原始的夜间图像表示为i，对所述原始夜间图像进行下采样得到i
s
，把包括把i
s
和i的图像序列送到特征提取单元进行特征提取，夜间图像的多尺度特征表示为：其中，o为从原始夜间图像i提取的特征，s是从i
s
提取的特征，是拼接运算符；步骤2，特征提取：包括底层视觉特征和高层语义特征的提取。其中底层的视觉特征包括使用灰度共生矩阵提取的纹理特征和使用彩色-灰度直方图提取的对比度特征。高层语义特征是从resnet-50网络模型中提取的。步骤3，多层特征聚合：把所述步骤2中提取的底层视觉特征和高层语义特征进行拼接操作。步骤4，采用偏最小二乘回归法将步骤3中聚合后的特征进行回归，从而得到夜间图像质量的客观评分。2.根据权利要求1所述的夜间图像质量评价方法，其特征在于，所述纹理特征提取指使用灰度共生矩阵glcm提取纹理特征来描述纹理自然性，首先计算计算灰度图像获得共生矩阵，假定夜间图像i的大小为m
×
n，glcm的定义如公式(2)：n，glcm的定义如公式(2)：n，glcm的定义如公式(2)：n，glcm的定义如公式(2)：其中，f
energy
表示能量，f
contrast
表示对比度，f
homogeneity
表示同质性。3.根据权利要求1或2所述的夜间图像质量评价方法，其特征在于，所述对比度特征提取指使用图像的局部直方图来表示图像的局部对比度信息的变化，使用i
r
，i
g
和i
b
分别表示图像i的红、绿和蓝三个通道分量，i
gray
表示i的灰度图像；灰度直方图表示图像不同灰度级的频率分布；灰度图像i
gray
在灰度级i的灰度直方图记为h
gray
(i)，表示i
gray
中灰度级为i的总像素数；其中x表示图像像素集合，δ表示克罗内克函数，i的范围为0～255，表示图像的灰度级；h
gray
(i)表示了图像亮度从黑到白的分布；图像i的彩色直方图表示如下：其中ch∈{r,g,b}表示图像的三个颜色通道，彩色直方图表示各个颜色分量的灰度级
频率分布；图像i的rgb直方图表示为：彩色直方图减去灰度直方图可以得到彩色-灰度-差异直方图如公式(9)所示，h
cgd
(i)＝h
rgb
(i)-h
gray
(i)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)在整个图像中随机选取一组图像块，然后计算每个图像块的直方图来描述图像的局部变化，图像块的cgd直方图表示如下：其中，矩阵h彩色-灰色-差异直方图的集合，h是一个p
×
256的矩阵，p表示图像块的个数，得到矩阵h后，使用主成分分析法对h进行降维，具体的步骤如下：1)对h进行标准化处理，将h中的每个元素减去该列的平均值μ
j
，得到一个新的矩阵矩阵h的列均值μ
j
表示为式：生成一个零均值的数据矩阵表示为：2)计算协方差矩阵c；3)计算c的特征值和对应的特征向量，特征值从大到小排列为λ1≥λ2≥
…
,λ
p
，依照特征值的顺序排列特征向量为w1,w2,
…
w
p
；4)选取前m个特征值，把前m个特征值对应的特征向量作为局部图像块的直方图矩阵夜间图像的低层特征表示为：4.根据权利要求1-3任一项所述的夜间图像质量评价方法，其特征在于，所述高层语义特征通过将整幅夜间图像作为去掉全连接层的resnet-50的输入来计算得到，每一幅图像提取出的一级高级特征d表示为：d＝dcnn(θ,ω)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)式中：dcnn(θ,ω)表示预训练的resnet-50网络模型，θ，ω表示预训练resnet-50的权重参数；对d采用均值聚合特征f1表示为：
f1＝f
mean
{d}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)对d采用标准差聚合特征f2表示为：f2＝f
std
{d}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)其中，f
mean
{d}表示对d求均值，f
std
{d}表示对d求标准差；最终的高级语义特征表示为：其中，是拼接运算符。5.根据权利要求1所述的夜间图像质量评价方法，其中，所述步骤3多层特征提取指把底层特征和高层特征聚合在一起作为夜间图像质量评价的标准，所述聚合后的特征表示为

技术总结
本发明提出了一种夜间图像质量评价方法。首先通过下采样获取不同尺度的夜间图像，然后把原始图像和下采样后的图像序列同时送入到特征提取单元；在特征提取阶段，提取了与质量相关的两类特征：底层视觉特征和高层语义特征。底层视觉特征包括夜间图像的纹理特征和对比度特征；对于高层语义特征，首先利用深度卷积网络提取夜间图像一级高级语义特征，然后采用均值和方差两种特征函数对一级高级语义特征进行聚合，得到二级高级语义特征作为夜间图像的最终高层语义特征。接着对提取的底层特征和高层特征进行聚合。最后，采用偏最小二乘回归法将聚合后的特征进行回归，从而得到夜间图像质量的客观评分。像质量的客观评分。像质量的客观评分。


技术研发人员：肖淑艳 张平 陶为戈 潘玲佼 吴全玉 程钦 王永星
受保护的技术使用者：江苏理工学院
技术研发日：2022.08.25
技术公布日：2023/2/6