一种夜视融合图像综合质量评价方法、介质及系统

1.本发明属于图像质量评价技术领域，具体而言，涉及一种夜视融合图像综合质量评价方法、介质及系统。


背景技术：

2.可见光(微光)图像包含较丰富的场景细节和纹理信息；红外图像可以反映物体的温度信息，受天气和照明条件影响小。可见光(微光)与红外彩色夜视融合技术结合两个波段的成像优点，产生热目标突出、细节信息丰富且适于人眼观察的伪彩色融合图像，不同的彩色融合算法得到截然不同的视觉效果。如何针对特定的视觉任务实现融合图像综合质量的客观评价，国内外尚没有公认的理论和方法。其研究难点在于低信噪比单色微弱可见光与人眼不可见单色热辐射图像的彩色融合图像评价缺乏理想的参考图像。同时，彩色融合图像有其独特的图像特点和具体的应用需求，不宜直接采用现有的真彩色图像质量评价方法进行衡量。因此，无参考的评价彩色融合图像满足特定应用需求的能力，成为国内外理论研究和系统应用迫切需要解决的焦点问题之一。
3.传统的方法依赖于图像的亮度对比度，对像素关系关注有限，存在对图像颜色的变化不敏感，而且在评价图像质量时较少考虑人眼视觉特性的技术问题，对图像质量的评分准确率较低。


技术实现要素：

4.有鉴于此，本发明提供一种夜视融合图像综合质量评价方法、介质及系统，能解决在对图像质量评价时存在的对图像颜色的变化不敏感，而且在评价图像质量时较少考虑人眼视觉特性的技术问题。
5.本发明是这样实现的：
6.本发明第一方面提供一种夜视融合图像综合质量评价方法，其中，包括以下步骤：
7.s10：对图像数据库中的红外与可见光彩色夜视融合图像进行预处理，剔除图像中的热目标；
8.s20：将预处理后的图像分为训练集与测试集；
9.s30：构建支持向量回归器，用于图像特征的提取和融合，所述支持向量回归器包括：图像色彩特征提取模块、清晰度特征提取模块、深层特征提取模块和特征融合模块；
10.s40：将所述训练集输入所述支持向量回归器进行训练；
11.s50：将待评价图像输入训练完成的支持向量回归器中，得到输入图像的质量评分。
12.在上述技术方案的基础上，本发明的一种夜视融合图像综合质量评价方法还可以做如下改进:
13.其中，所述图像色彩特征提取模块首先对输入图像进行局部对比度归一化处理，计算归一化后图像r、g、b三通道对应的灰度共生矩阵，提取灰度共生矩阵的统计特征作为
图像色彩特征。
14.其中，所述清晰度特征提取模块将输入图像划分为多个大小相同的区域，计算每个区域的等价旋转不变局部二值模式直方图，对所述等价旋转不变局部二值模式直方图进行加权作为清晰度特征。
15.其中，所述深层特征提取模块使用mobilenetv3网络提取图像深层特征。
16.其中，所属特征融合模块将图像色彩特征、图像清晰度特征和图像深层特征进行串联融合。
17.其中，所述步骤s10中对所述融合图像预处理方法为，将红外图像中超出一定阈值的区域标记为热目标，然后将对应融合图像中热目标区域内的像素值用八邻域平均值进行代替。
18.进一步的，所述步骤s30中所述图像色彩特征提取模块，提取灰度共生矩阵的同质性、角二阶矩和对比度三个统计特征作为图像色彩特征。
19.进一步的，所述步骤s30中所述对等价旋转不变局部二值模式直方图进行加权的方式为，利用mobilenetv3网络得到输入图像的梯度类激活映射热力图，将梯度类激活映射热力图划分为多个大小相同的区域，计算梯度类激活映射热力图每个区域的像素均值，对输入图像中对应区域的旋转不变等价二值模式直方图进行加权。
20.进一步的，所述步骤s30还包括：
21.第一步：将原始融合图像与梯度类激活映射热力图分划分为12个80
×
80不重叠图像块，计算每个原始融合图像图像块的旋转不变等价局部二值模式直方图；
22.第二步：计算每个梯度类激活映射热力图图像块的像素均值，对原始融合图像中对应位置图像块的旋转不变等价二值模式直方图进行加权，得到最终的清晰度特征；
23.第三步：深层特征提取：利用mobilenetv3网络提取图像深层特征；
24.第四步：将图像色彩特征、图像清晰度特征以及图像深层特征串联融合。
25.本发明第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现上述的一种夜视融合图像综合质量评价方法。
26.本发明第三方面提供一种夜视融合图像综合质量评价系统，其中，包括上述的计算机可读存储介质。
27.与现有技术相比较，本发明提供的一种夜视融合图像综合质量评价方法、介质及系统的有益效果是：
28.1.本发明尝试利用灰度共生矩阵和图像色彩之间的关联，提取灰度共生矩阵的同质性、角二阶矩和对比度度量图像色彩质量，与传统方法相比，本发明方法对图像色彩失真更加敏感。
29.2.本发明在提取图像特征时，充分考虑了人眼视觉特性，是本发明方法评价效果与人眼主观感受更加一致：通过对图像进行局部对比度归一化处理，模拟人眼视觉的非线性掩蔽效应；通过使用类激活热力图对等价旋转不变局部二值模式直方图进行加权，模拟人类视觉的选择性注意力机制。
附图说明
30.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明提供的一种夜视融合图像综合质量评价方法的步骤流程图；
32.图2为本发明提供的一种夜视融合图像综合质量评价方法的整体模型图；
33.图3为本发明提供的一种夜视融合图像综合质量评价方法的图像预处理结果图；
34.图4为本发明提供的一种夜视融合图像综合质量评价方法的热力图效果图。
具体实施方式
35.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
36.因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
37.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
38.如图1所示，是本发明提供的一种夜视融合图像综合质量评价方法的第一实施例的步骤，图2是本实施例的整体模型图，在本实施例中，包括以下步骤：
39.s10：对图像数据库中的红外与可见光彩色夜视融合图像进行预处理，剔除图像中的热目标；
40.s20：将预处理后的图像分为训练集与测试集；
41.s30：构建支持向量回归器，用于图像特征的提取和融合，支持向量回归器包括：图像色彩特征提取模块、清晰度特征提取模块、深层特征提取模块和特征融合模块；
42.s40：将训练集输入支持向量回归器进行训练；
43.s50：将待评价图像输入训练完成的支持向量回归器中，得到输入图像的质量评分。
44.其中，在上述技术方案中，图像色彩特征提取模块首先对输入图像进行局部对比度归一化处理，计算归一化后图像r、g、b三通道对应的灰度共生矩阵，提取灰度共生矩阵的统计特征作为图像色彩特征，图像预处理结果如图3所示。
45.其中，输入图像进行局部对比度归一化处理的计算方式如下：
[0046][0047]
式中，i，j是图像的空间索引，c＝1，当分母趋于零时，引入c以保证稳定性。
[0048][0049][0050]
其中ω＝{ω
k，l
|k＝-k，...k，l＝-l，...l}是一个二维圆对称高斯加权函数，本文设置k＝l＝3。
[0051]
其中，在上述技术方案中，清晰度特征提取模块将输入图像划分为多个大小相同的区域，计算每个区域的等价旋转不变局部二值模式直方图，对等价旋转不变局部二值模式直方图进行加权作为清晰度特征。
[0052]
其中，在上述技术方案中，深层特征提取模块使用mobilenetv3网络提取图像深层特征。
[0053]
其中，在上述技术方案中，所属特征融合模块将图像色彩特征、图像清晰度特征和图像深层特征进行串联融合。
[0054]
其中，在上述技术方案中，步骤s10中对融合图像预处理方法为，将红外图像中超出一定阈值的区域标记为热目标，然后将对应融合图像中热目标区域内的像素值用八邻域平均值进行代替。
[0055]
进一步的，在上述技术方案中，步骤s30中图像色彩特征提取模块，提取灰度共生矩阵的同质性、角二阶矩和对比度三个统计特征作为图像色彩特征。
[0056]
其中，计算图像灰度共生矩阵的同质性(asm)、角二阶矩(homogeneity)以及对比度作为图像色彩特征，同质性、角二阶矩和对比度计算如下：
[0057][0058][0059][0060][0061]
式中，n为glcm大小，p(l,m)为glcm(l,m)在灰度共生矩阵中发生的概率。
[0062]
进一步的，在上述技术方案中，步骤s30中对等价旋转不变局部二值模式直方图进行加权的方式为，利用mobilenetv3网络得到输入图像的梯度类激活映射热力图，将梯度类激活映射热力图划分为多个大小相同的区域，计算梯度类激活映射热力图每个区域的像素均值，对输入图像中对应区域的旋转不变等价二值模式直方图进行加权。
[0063]
其中，利用mobilenetv3网络得到原始融合图像的梯度类激活映射热力图，计算图
下：
[0064][0065][0066]
其中，a代表某个特征层，本文中a代表mobilenetv3网络的最后一个feature map，k代表a中第k个通道，c代表类别c，i，j第k个通道中数据的空间索引，z表示a的宽高之积，yc表示mobilenetv3针对类别c的预测得分。
[0067]
热力图效果如图4所示。
[0068]
其中，步骤s30还包括：
[0069]
第一步：将原始融合图像与梯度类激活映射热力图分划分为12个80
×
80不重叠图像块，计算每个原始融合图像图像块的旋转不变等价局部二值模式直方图，计算如下：
[0070][0071]
其中，gc是中心像素的灰度值,gi是相邻像素的灰度值，p是要计算的相邻像素数，u(lbp
c，p
)是lbp所对应的循环二进制数从0到1或从1到0的跳变次数。
[0072]
第二步：计算每个梯度类激活映射热力图图像块的像素均值，对原始融合图像中对应位置图像块的旋转不变等价二值模式直方图进行加权，得到最终的清晰度特征；
[0073]
第三步：深层特征提取：利用mobilenetv3网络提取图像深层特征；
[0074]
第四步：将图像色彩特征、图像清晰度特征以及图像深层特征串联融合。
[0075]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。