空谱协同增强可见光图像的方法、设备、介质及应用与流程

本技术属于图像处理，具体涉及一种空谱协同增强可见光图像的方法、设备、介质及应用。

背景技术：

1、现有基于深度学习的图像增强方法大多仅在空间域开展特征处理，缺少空间显著性引导的频域纹理信息重建过程，这就使得增强的可见光图像与原始可见光图像的结构相似性低、失真程度较高，不利于后续下游的目标检测任务使用。为此，本技术提供了一种空谱协同增强可见光图像的方法、设备、介质及应用。

技术实现思路

1、本技术为了弥补现有技术的不足，提供了一种空谱协同增强可见光图像的方法、设备、介质及应用。

2、本技术是通过如下技术方案实现的：

3、一种空谱协同增强可见光图像的方法，包括以下步骤：

4、将待处理可见光图像进行预处理，获取标准化可见光图像，将标准化可见光图像输入至可见光图像空谱协同增强网络模型中，前向传播一次，得到增强可见光特征图，将增强可见光特征图依次进行反标准化处理和反归一化处理，得到增强可见光图像；

5、所述可见光图像空谱协同增强网络模型由可见光图像空谱协同增强网络训练得到；

6、所述可见光图像空谱协同增强网络包括空间显著性增强链路、频域纹理增强链路、全局特征增强链路、增强特征融合模块以及逐元素相加层；其中，空间显著性增强链路、频域纹理增强链路和全局特征增强链路均与增强特征融合模块连接，增强特征融合模块与逐元素相加层连接，空间显著性增强链路还连接频域纹理增强链路；

7、本技术还对标准化可见光图像进行恒等映射，得到具有可见光图像原始信息的特征图，将所述具有可见光图像原始信息的特征图也输入至逐元素相加层中；逐元素相加层输出增强可见光特征图。

8、优选地，空间显著性增强链路包括依次连接的 sobel x 算子、sobel y 算子、梯度幅值计算层、laplacian 算子、高频细节提取层、空间权重图计算层。

9、优选地，频域纹理增强链路包括傅里叶变换层，傅里叶变换层连接解耦层，解耦层输出振幅谱和相位谱，振幅谱输送至掩码层，相位谱输送至逆傅里叶变换层，掩码层依次连接逐元素相乘单元和逆傅里叶变换层；逐元素相乘单元的输入端还与空间显著性增强链路中空间权重图计算层的输出端相连接，逆傅里叶变换层输出频域纹理增强特征图。

10、优选地，全局特征增强链路包括依次连接的平均池化层、卷积层、归一化层、sigmoid激活层；sigmoid激活层输出全局增强权重图。

11、优选地，所述增强特征融合模块包括特征维度对齐层、三个网络结构相同的权重预测支路、三个逐元素相乘单元、逐元素相加层、卷积层；其中，空间显著性增强链路的输出端、频域纹理增强链路的输出端、全局特征增强链路的输出端均与特征维度对齐层的输入端相连接；特征维度对齐层分别连接第一个权重预测支路、第二路权重预测支路和第三路权重预测支路，第一个权重预测支路的输出端和特征维度对齐层的输出端均与第一逐元素相乘单元相连接，第二路权重预测支路的输出端和特征维度对齐层的输出端均与第二逐元素相乘单元相连接，第三路权重预测支路的输出端和特征维度对齐层的输出端均与第三逐元素相乘单元相连接，第一逐元素相乘单元、第二逐元素相乘单元和第三逐元素相乘单元均与逐元素相加层连接，逐元素相加层连接卷积层，卷积层输出融合增强特征图。

12、优选地，每一个权重预测支路均包含依次连接的全局平均池化层、第一卷积层、第二卷积层和sigmoid激活层。

13、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述空谱协同增强可见光图像的方法的步骤。

14、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述空谱协同增强可见光图像的方法的步骤。

15、上述空谱协同增强可见光图像的方法中的可见光图像空谱协同增强网络在目标检测领域的应用。

16、一种可见光图像空谱协同增强网络在目标检测中的应用方法，包括以下步骤：

17、步骤1）、构建包含可见光图像空谱协同增强网络的目标检测网络；

18、步骤2）、训练包含可见光图像空谱协同增强网络的目标检测网络，得到目标检测网络模型；

19、步骤3）、将待处理可见光图像和待处理红外图像均进行预处理，获取配对的标准化可见光图像和标准化红外图像；将配对的标准化可见光图像输入至目标检测网络模型的可见光图像空谱协同增强网络中，并将配对的标准化红外图像输入至目标检测网络模型的红外降噪增强模块中，前向传播一次，即可得到目标检测结果。

20、优选地，所述包含可见光图像空谱协同增强网络的目标检测网络包括可见光图像空谱协同增强网络、红外降噪增强网络、跨模态融合模块和多尺度解耦目标检测头；其中，可见光图像空谱协同增强网络、红外降噪增强网络均与跨模态融合模块连接，跨模态融合模块连接多尺度解耦目标检测头；多尺度解耦目标检测头输出目标检测结果，目标检测结果包括目标类别、目标边界框和目标置信度。

21、优选地，红外降噪增强网络包括傅里叶变换层、解耦层、低频掩码层、高频掩码层、软阈值降噪层、逐元素相加层、卷积层（卷积核大小为3×3）和逆傅里叶变换层；其中，傅里叶变换层连接解耦层，解耦层输出振幅谱和相位谱，振幅谱分别输送至低频掩码层和高频掩码层，相位谱输送至逆傅里叶变换层，高频掩码层连接软阈值降噪层，低频掩码层和软阈值降噪层均与逐元素相加层连接，逐元素相加层依次连接卷积层、逆傅里叶变换层；逆傅里叶变换层输出降噪红外特征图。

22、优选地，跨模态融合模块包括两个深度可分离卷积层、八个逐元素相乘单元（即第一逐元素相乘单元至第八逐元素相乘单元）、三个逐元素相加层（即第一逐元素相加层至第三逐元素相加层）和一个卷积层（卷积核大小为3×3）；其中，红外降噪模块和可见光图像空谱协同增强网络分别连接一个深度可分离卷积层，两个深度可分离卷积层均与极化分解层连接；极化分解层对两个深度可分离卷积层的输出结果进行极化分解操作，分别得到k′特征图、v'_s特征图、v'_o特征图、q_sim特征图、q_opp特征图、k"特征图、v"_s特征图和v"_o特征图；

23、其中，k’特征图和v’_o特征图输入第一逐元素相乘单元，k’特征图、v’_s特征图输入第二逐元素相乘单元，第二逐元素相乘单元的输出与q’_sim特征图均输入第三逐元素相乘单元，第一逐元素相乘单元的输出与q’_opp特征图均输入第四逐元素相乘单元，第三逐元素相乘单元和第四逐元素相乘单元均与第一逐元素相加层连接；

24、k’特征图和v’_o特征图输入第五逐元素相乘单元，k’特征图、v’_s特征图输入第六逐元素相乘单元，第六逐元素相乘单元的输出与q’_sim特征图均输入第七逐元素相乘单元，第五逐元素相乘单元的输出与q’_opp特征图均输入第八逐元素相乘单元，第七逐元素相乘单元和第八逐元素相乘单元均与第二逐元素相加层连接；

25、第一逐元素相加层和第二逐元素相加层均与第三逐元素相加层连接，第三逐元素相加层连接卷积层，卷积层输出跨模态融合增强特征图。

26、优选地，多尺度解耦目标检测头包括目标类别获取分支、边界框坐标偏移值获取分支、前景目标得分获取分支、置信度阈值筛选层以及非极大值抑制 nms 层；目标类别获取分支、边界框坐标偏移值获取分支和前景目标得分获取分支均与置信度阈值筛选层连接，置信度阈值筛选层连接非极大值抑制 nms 层，非极大值抑制 nms 层输出目标检测结果，目标检测结果包括目标类别、目标边界框和目标置信度。

27、优选地，目标类别获取分支包括依次连接的三个卷积层和一个 sigmoid 激活层，sigmoid 激活层输出目标类别置信度。

28、优选地，边界框坐标偏移值获取分支包括依次连接的三个卷积层，边界框坐标偏移值获取分支包括依次连接的第一个卷积层、第二个卷积层和第三个卷积层，第三个卷积层输出边界框坐标偏移值。

29、优选地，前景目标得分获取分支包括依次连接的三个卷积层和一个 sigmoid 激活层，sigmoid 激活层输出前景目标得分。

30、相对于现有技术，本技术的有益技术效果为：

31、本技术构建的可见光图像空谱协同增强网络中，空间显著性增强链路能够获取空间显著性增强特征图和空间权重图；其中，所述空间显著性增强特征图输送至增强特征融合模块，空间权重图输送至频域纹理增强链路中；频域纹理增强链路能够获取频域纹理增强特征图，频域纹理增强链路的设置实现了空间显著性引导的频域纹理信息重建并增强；全局特征增强链路能够获取全局增强权重图；增强特征融合模块能够对空间显著性增强特征图、频域纹理增强特征图、全局增强权重图进行特征融合，获取融合增强特征图；逐元素相加层能够对增强特征融合模块输出的融合增强特征图以及恒等映射得到的具有可见光图像原始信息的特征图进行逐元素相加，得到纹理细节丰富、结构保真度高的增强可见光特征图。通过测试可知，相较于直方图均衡化方法而言，本技术所述方法得到的测试可见光增强图像与原始测试可见光图像的失真程度更低、结构相似性更高、结构保真度更高，图像质量更佳。